机器学习：感知机模型

感知机模型

感知机模型，主要的思想是用一个函数，通过不断的调节权值和偏置的数值，将一个线性可分的集合分类

感知机算法
fx=sign（w*x + b )
sign={ 1 x>=0,-1 x<0)
对于最优的w,b的值，采用了损失函数 L（w,b） = - sum (xi 属于 M ） yi（w*xi+b)
M 为错误分类点的集合
感知机学习算法包括两种 ： 原始形式，对偶形式

原始形式：
min(w,b) = - sum (xi 属于 M ） yi（w*xi+b) 求出最小的w，b
通过随机梯度下降法计算
L（w,b) 的梯度
wL（w,b) = - sum (xi 属于 M ）xiyi
bL(w,b) = - sum (xi 属于 M ）yi
随机选取错误分点： xi yi
w =w + n xiyi
b= b + n yi n 为步长

通过迭代使期待损失函数不断减少

伪代码实现
1 选取 初值 w0, b0
2 选取 xi yi
3 yi(w* xi + b )<= 0
w = w + n xiyi
b = b+ n yi
迭代直到损失函数减少到0
对偶形式：
感知机模型： fx = sign (sum 1-n ai* yi * xi * x + b)
ai 的梯度： a = a+ n
b 的梯度 b =b + nyi n 为步长
伪代码实现：
1 选取 初值 w0, b0
2 选取 xi yi
3 yi(ai*yi* xi*x + b )<= 0
a =a + n
b = b+ n yi
迭代直到损失函数减少到0