2.1 感知机模型
模型函数:
其中
感知机属于线性模型,因为其含有
超平面将空间分为两个部分,位于超平面两侧的点分别是正、负两类。
2.2 感知机的学习策略
感知机模型的学习策略是让误分类的点到超平面的距离最小。那么误分类的点怎么求呢?
我们已知对于一个点,如果被正确分类,那么 预测结果
与真实的分类
应该是同号的,即
或
,所以当分类错误时,两者符号应该是相反的。因此有:
我们通过几何知识可知,对于空间中的一个点,它到超平面的距离为:
因此,所有的误分类点到超平面的距离之和为:
不考虑 ,我们得到损失函数
也就是经验风险函数。
2.3 感知机学习算法
根据2.2的学习策略,我们把问题转化为了求经验风险函数的最小值问题,即求
采用梯度下降法就可以求解了,分别对w和b求导得到:
迭代方式为:
其中步长 为学习率,
的选择非常重要,太小则影响迭代速度,太大则可能跳过最小值点。
需要注意的是,由于w和b的初始值选取具有随机性,因此对于线性可分的数据集,不同初始值可能得到不同的分类超平面,对于线性不可分的数据集,迭代结果可能发生震荡。