统计学习方法笔记（二）感知机学习

感知机是二类分类模型，输出值为-1,1，为判别模型

输入空间到输出空间的函数如下：

w叫权值，b叫偏置。

即求出一个超平面把特征空间分成两部分，使两部分分别被分为正负两类，为分离超平面。

如图：

应用条件：

数据集是线性可分的，存在使得数据集都能正确的划分在超平面的两侧。

损失函数：

对于误分类的数据：

误分类点到超平面的距离：

不考虑前面的系数，就是感知机的损失函数

因此，其目标就是最小化损失函数：

感知器是误分类驱动的，具体采用随机梯度下降法。

假设误分类点集合M是固定的，则损失函数的梯度由：

随机选择一个误分类点，对w，b进行更新：

由此，感知机算法的原始形式如下：

当选择不同的误分类点，解可能就不同

收敛条件：误分裂的次数k是有商界的，经过有限次搜索可以找到使训练数据完全正确分离的超平面，也就是说训练数据是线性可分的时候，则感知机算法原始形式迭代是收敛的。 

感知机算法的对偶形式如下：