1 算法概述
1.1 工作原理
感知机是二类分类线性模型,在特征空间中,用一个超平面将正类、负类分离,我们所要做的就是求得这个超平面。使用指示函数sign作为输入到输出的映射,sign(w·x+b)。
1.2 三要素
模型:分离超平面决策模型
策略:误分类点到超平面的总距离(损失函数)
算法:随机梯度下降算法
注:由于误分类点总数作为损失函数不是参数w,b的连续可到函数,所以不能使用。
1.3 原始形式
极小化损失函数:
感知机是由误分类驱动的,采用随机梯度下降法更新参数,每次随机选取一个误分类点使其梯度下降,直到没有误分类点。更新参数如下:
2 对偶形式
对偶形式是将w和b表示为增量后的形式,为更新的最终目标。
其中 ,当eta等于1时,表示第i个实例点由于误分而进行更新的次数。
更新的参数如下:
优点:算法简单易于实现,分类有效
缺点:分类效果一般(相比SVM)、仅在线性可分下有效
参考资料:统计学习方法(李航)、机器学习实战(Peter)