第二章 感知机

感知机

感知机是二类分类的线性分类模型，它是神经网络与支持向量机的基础。

感知机假设数据是线性可分的。对于线性可分数据，感知机学习算法收敛，即经过有限次迭代可以得到一个将训练数据集完全正确划分的分离超平面。感知机算法存在许多解，这依赖于初值的选择和误分类点的选择顺序。为了得到唯一的超平面，需要增加约束条件，比如线性支持向量机。当训练集线性不可分时，算法不收敛，迭代结果会发生震荡。

 

模型的假设空间：定义在特征空间的所有线性分类模型，即线性函数集合；

策略：损失函数是误分类的点到线性超平面的距离之和。假如是误分类的点的总数，那么损失函数不是权值向量和偏置的可导函数，不易优化；

算法：利用梯度下降法对损失函数进行极小化。

 

原始形式步骤：

1.     选取初值；

2.     选取数据；

3.     如果误分类，更新参数；

4.     返回2，直到没有误分类点。

 

对偶形式中训练实例仅以内积形式出现，不知相对原始形式有何好处？