机器学习笔记（9）— 决策边界

决策边界

逻辑回归通过两步计算得出预测值，第一步计算z=向量w 向量x +b，然后将sigmoid函数g应用于该值z
可以设置一个阈值，大于此阈值ŷ=1，小于这个阈值，ŷ=0，常常把阈值设为0.5，当wx+b>=0时，模型预测为1

上图的例子中有两个特征x1和x2，这是一个训练集，x表示正样本，o表示负样本
看向量wx+b什么时候大于0，当z=x1+x2-3时，此时该线就是决策边界，x1+x2-3=0，即x1+x2=3（紫色线）时，如果特征x在这条线的右边，逻辑回归会预测y=1，同理左侧ŷ=0，当然选择不同的参数，决策边界将会是不同的线

来看一个更复杂的例子，其中决策边界将不再是一条直线
红色x代表y=1，蓝色圈表示y=0
也可以在逻辑回归中使用多项式，令z=w₁x₁²+w₂x₂²+b，选用这种特征，将多项式特征转化为逻辑回归，要想求出决策边界，就令z=0，此时是个圆，圆外部分y=1，圆内部分y=0

用更高阶的多项式会有更复杂的决策边界
逻辑回归可以拟合相当复杂的数据
如果没有这些高阶多项式，比如使用的特征只用x₁、x₂、x₃等，那么逻辑回归的决策边界永远时线性的，永远是一条直线，