感知机是二类分类模型,输出值为-1,1,为判别模型
输入空间到输出空间的函数如下:
w叫权值,b叫偏置。
即求出一个超平面把特征空间分成两部分,使两部分分别被分为正负两类,为分离超平面。
如图:
应用条件:
数据集是线性可分的,存在使得数据集都能正确的划分在超平面的两侧。
损失函数:
对于误分类的数据:
误分类点到超平面的距离:
不考虑前面的系数,就是感知机的损失函数
因此,其目标就是最小化损失函数:
感知器是误分类驱动的,具体采用随机梯度下降法。
假设误分类点集合M是固定的,则损失函数的梯度由:
随机选择一个误分类点,对w,b进行更新:
由此,感知机算法的原始形式如下:
当选择不同的误分类点,解可能就不同
收敛条件:误分裂的次数k是有商界的,经过有限次搜索可以找到使训练数据完全正确分离的超平面,也就是说训练数据是线性可分的时候,则感知机算法原始形式迭代是收敛的。
感知机算法的对偶形式如下: