用途:
给定训练数据集,得到能够将数据线性划分的超平面wx+b=0,从而对输入数据进行判别,一般用于二分类问题。
适用范围
仅在线性可分的情况下可行
缺点
没有加入防止过拟合的机制
算法
原始模型
对偶模型
此处可以把内积一次全计算出来放入一个矩阵来减少运算次数
原理
要找出一个超平面 wx+b=0 来正确区分实例点,那么定义连续可导的损失函数用来衡量超平面划分的正确率(衡量w 和 b参数的好坏),损失函数根据点到超平面距离
(分母是w的L2范数,
)
(具体推导见http://blog.csdn.net/amyaguang/article/details/46043885)
因为y={1,-1},,所以对于误分类的数据来说
对于感知机来说,如果两个模型对训练集正确分类的个数相同,那么视为这两个模型是差不多的(误分类带来的惩罚较大且彼此之间数值接近),故可以忽略。
因此,设定损失函数
此处采用批梯度下降法取极值
分别对w,d求偏导
设置步长,得到迭代公式