目录
决策边界的作用
决策边界是一个方程,提供了一种直观的方式来观察和理解模型是如何区分不同类别的,并帮助我们诊断,分析,改进模型。
决策边界公式
通过sigmoid函数,我们反推出结论:wx+b大于等于0,预测值为1,wx+b小于0,预测值为0。由此可绘制出决策边界的方程w*x+b=0。
逻辑回归下绘制决策边界
主要观察不同的数据如何设置不同的决策边界。
案例一
决策边界公式w*x+b=0,此处为x1+x2=3。所以给定两个x,直线以内的预测结果都归属y=0,直线之外的预测结果归属y=1。
案例二
此处决策边界公式x1²+x2²=1,当两个x在圆圈外,预测分类归属1,当两个x在圆圈内,预测分类归属0。
案例三
更复杂多项式方程的决策边界。
决策边界的形状
决策边界可以是不同的线条,例如直线或圆圈状。更高的维度空间则呈现平面或超平面。
(吴恩达教授为了方便演示,选择2D空间下的两个特征及其多项式,因此呈现线条状)
影响决策边界形状的因素
改变w,b的参数,增加特征x数量,将特征x扩展为多项式。
总结
决策边界,就是通过sigmoid函数,反推出一个方程w*x+b,然后将这个方程可视化,检测是否能够将当前数据集的数据分好类。决策边界并不总是直线或线条,如果我们改变w,b,它的直线位置就有可能改变,如果增加x多项式,则它的形状就会从直线变成线条,如果增加x数量,则它的形状就变为平面或超平面。本节课的所有内容,都是假设已经计算出合适的w,b,基于w,b,我们才能构建出决策边界,然后才能通过决策边界看看有没有很好的将数据分类。
实验
1.逻辑回归数据集
2.根据数据集绘制散点图
绘制数据点函数plot_data解析
-
构建布尔数组pos和neg并转换成一维数组,方便后续索引布尔数组。
-
原样式
-
reshape(-1,)后的样式
-
绘制红叉和蓝圈数据点,红叉数据点的x轴和y轴 X:[pos,0]:[3. 2. 1.],X[pos,1]:[0.5 2. 2.5],蓝圈数据点的x轴和y轴 X[neg,0]:[0.5 1. 1.5],X[neg,1]:[1.5 1. 0.5],其余参数基本为数据点样式和标签。
-
ax.legend控制图例位置,参数被设置为best,自动设置影响数据最小的位置。
-
隐藏了图表的工具栏、头部和底部区域。
3.绘制sigmoid函数图,
通过函数图,方便观察逻辑回归是如何通过决策边界预测分类的。z>=0,预测为1,z<0,预测为0。
4.绘制数据集散点图的决策边界
回到我们的数据,要构建决策边界,将数据分类,我们需要先有w,b,这里为了方便演示,直接默认有了合适的w和b,并给出了决策边界x0+x1-3=0,这条决策边界很好的将数据分了类,y=1的红叉点都在边界上方,y=0的蓝圈点都在边界下方(阴影处)。