感知机学习算法

感知机模型是二分类的线性分类模型，输入是样本的特征空间，输出是样本所属的类别。原理是找到一个能够将样本分为正负两类的分离超平面，属于判别模型。

感知机的定义：

假设存在一个分离超平面w.x+b=0，输入样本空间中任一点x0到超平面的距离为|w.x0+b|/(||w||),||w||是w的二范数。对于误分类的数据（xi,yi）来说，-yi(w.xi+b)>0,因为w.xi+b>0,yi=-1;w.xi+b<0,yi=+1，因此感知机sign(w.x+b)学习的损失函数为：

M为误分类样本集

因此感知机的学习算法为，给定训练数据集，求出使得损失函数取极小值的w,b，即：

感知机学习算法存在许多解，这些解既依赖于初值的选择，也依赖于迭代过程中误分类点的选择顺序，为了得到唯一的超平面，需要对分离超平面增加约束条件。当训练集线性不可分时，感知机学习算法不收敛，迭代结果会发生震荡。

参考文献：

《统计学习方法》李航 2012