机器学习（三）~感知机模型

1. 感知机模型

感知机是一种线性分类模型，属于判别模型。

2. 感知机学习策略

适用条件： 数据集具有线性可分性

• 当训练集线性不可分时，感知机学习算法不收敛，迭代结果会发生震荡

假设空间： 定义在特征空间中所有线性分类器，即函数集合{f|f(x)=w·x+b}

损失函数：

• 损失函数的自然选择是误分类点个数，但由于这样定义的损失函数不是关于w,b的连续可导函数，不易优化，因此采用误分类点到超平面S的总距离度量

优化方法： 随机梯度下降法

• 注意：极小化过程中不是一次使M中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降

3. 感知机学习算法

1)算法原始形式

注：感知机学习算法由于采用不同的初值或选取误分类点顺序不同，解可以不同且有无穷多个

2)算法收敛性

【定理Novikoff】: 误分类次数是有上界的，经过有限次搜索可以找到完全分类的分离超平面。即当训练集线性可分时，感知机学习算法原始迭代形式是收敛的
(具体证明p42-p43)

3)算法对偶形式

设初始w,b均为0，则w,b的变化为η的倍数，设修改n次，则