作者:jliang
1.重点归纳
1)感知机是二分类的线性分类模型
2)经验风险函数/损失函数, M为误分类点
3)学习策略, M为误分类点
4)感知机是误分类驱动的,具体采用随机梯度下降法求解。
5)感知机存在许多解,这些解依赖于初值的选择,也依赖于迭代过程中误分类点的选择顺序。
2.感知机模型
1)感知机是二分类的线性分类模型,其输入为特征向量,输出为实例的类别类别(+1和-1值)。感知机旨在求出将训练数据进行线性划分的分离超平面,属于判别模型。
2)感知机函数
3.感知机学习策略
1)经验风险函数/损失函数, M为误分类点
2)学习策略, M为误分类点
4.感知机学习算法
1)感知机是误分类驱动的,具体采用随机梯度下降法求解。
(1)任意选取一个超平面w0和b0,然后用梯度下降法不断地极小化目标函数,极小化过程中不是一次使M中所有误分类点的梯度下降,而是一次随机选取一个误分类点使其梯度下降。
(2)更新方法
损失函数导数:
参数更新:
2)学习过程
(1)选取初值w0和b0
(2)在训练集中选取数据(xi,yi)
(3)如果,则
(4)转至(2),直至训练集中没有误分类点
3)感知机存在许多解,这些解依赖于初值的选择,也依赖于迭代过程中误分类点的选择顺序。
4)当训练集线性不可分时,感知机算法不收敛,迭代结果会发生震荡。