统计学习方法笔记，第二章笔记， 感知机

2.1 感知机模型

模型函数：

其中

感知机属于线性模型，因为其含有

超平面将空间分为两个部分，位于超平面两侧的点分别是正、负两类。

2.2 感知机的学习策略

感知机模型的学习策略是让误分类的点到超平面的距离最小。那么误分类的点怎么求呢？

我们已知对于一个点，如果被正确分类，那么 预测结果 与真实的分类 应该是同号的，即

 或 ，所以当分类错误时，两者符号应该是相反的。因此有：

我们通过几何知识可知，对于空间中的一个点，它到超平面的距离为：

因此，所有的误分类点到超平面的距离之和为：

不考虑  ，我们得到损失函数

也就是经验风险函数。

2.3 感知机学习算法

根据2.2的学习策略，我们把问题转化为了求经验风险函数的最小值问题，即求

采用梯度下降法就可以求解了，分别对w和b求导得到：

迭代方式为：

其中步长  为学习率， 的选择非常重要，太小则影响迭代速度，太大则可能跳过最小值点。

需要注意的是，由于w和b的初始值选取具有随机性，因此对于线性可分的数据集，不同初始值可能得到不同的分类超平面，对于线性不可分的数据集，迭代结果可能发生震荡。