机器学习(三)~感知机模型
1. 感知机模型
感知机是一种线性分类模型,属于判别模型。
2. 感知机学习策略
适用条件: 数据集具有线性可分性
- 当训练集线性不可分时,感知机学习算法不收敛,迭代结果会发生震荡
假设空间: 定义在特征空间中所有线性分类器,即函数集合{f|f(x)=w·x+b}
损失函数:
- 损失函数的自然选择是误分类点个数,但由于这样定义的损失函数不是关于w,b的连续可导函数,不易优化,因此采用误分类点到超平面S的总距离度量
优化方法: 随机梯度下降法
- 注意:极小化过程中不是一次使M中所有误分类点的梯度下降,而是一次随机选取一个误分类点使其梯度下降
3. 感知机学习算法
1)算法原始形式
注:感知机学习算法由于采用不同的初值或选取误分类点顺序不同,解可以不同且有无穷多个
2)算法收敛性
【定理Novikoff】: 误分类次数是有上界的,经过有限次搜索可以找到完全分类的分离超平面。即当训练集线性可分时,感知机学习算法原始迭代形式是收敛的
(具体证明p42-p43)
3)算法对偶形式
设初始w,b均为0,则w,b的变化为η的倍数,设修改n次,则