感知机算法（SVM简化版）

1 算法概述

1.1 工作原理

感知机是二类分类线性模型，在特征空间中，用一个超平面将正类、负类分离，我们所要做的就是求得这个超平面。使用指示函数sign作为输入到输出的映射，sign(w·x+b)。

1.2 三要素

模型：分离超平面决策模型

策略：误分类点到超平面的总距离（损失函数）

算法：随机梯度下降算法

注：由于误分类点总数作为损失函数不是参数w，b的连续可到函数，所以不能使用。

1.3 原始形式

极小化损失函数：

感知机是由误分类驱动的，采用随机梯度下降法更新参数，每次随机选取一个误分类点使其梯度下降，直到没有误分类点。更新参数如下：

2 对偶形式

对偶形式是将w和b表示为增量后的形式，为更新的最终目标。

其中  ，当eta等于1时，表示第i个实例点由于误分而进行更新的次数。

更新的参数如下：

优点：算法简单易于实现，分类有效

缺点：分类效果一般（相比SVM）、仅在线性可分下有效

参考资料：统计学习方法（李航）、机器学习实战（Peter）