感知机

一、模型简介
L(w,b) = -Σyi(w·xi+b)
基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型，简单而易于实现，是神经网络与支持向量机的基础。
二、感知机算法
感知机学习算法的原始形式
输入：训练数据集T={（x1,y1),(x2,y2),…,(xn,yn)},其中xi∈X=R^n,yi∈{-1，1}，i=1，2，3，……n；学习率η（0<η<=1)
（1）选取初始值w0，b0；
（2）在训练集中选取数据（xi，yi）
（3）如果yi（w·xi+b）<=0
w <—— w+ηyixi
b <—— b+ηyi
（4）转至（2）直到训练集中没有误分类点

感知机算法收敛性证明：
为了便于推导，将权重向量w扩充为（w，b），输入向量扩充为（x，1）。
（1）如果训练数据集可分，存在满足条件||w*||=1的超平面w*·x = 0将训练数据集完全分开，使得对所有的分类点，存在γ>0,满足yi（w*·xi ） >= γ ①
（2）令R=max||xi|，则感知机算法在训练数据集上的误分类次数k满足不等式：
k <= (R/γ)^2 ②
证明（2）：
当第k次对样本i分类错误的条件是：
yi（wk-1·xi）<=0 ③
对w更新：wk = wk-1 + ηyixi ④
下面推导两个不等式
wk·w* <= kηγ ⑤
由④①得wk·w* = （wk-1 + ηyixi ）· w*
= wk-1 · w* + ηyixi · w*
>= wk-1· w* + ηγ
>= wk0 · w* + kηγ
>= kηγ

||wk ||^2 <= kη^2 ·R^2  ⑥
由④||wk||^2 =  ||wk-1||^2 + 2wk-1· ηyixi + η^2||xi||^2
		<= ||wk-1||^2 + η^2·R^2
		<= kη^2·R^2
结合⑤⑥
kηγ <= wk·w* <= ||wk|| ||w*|| <= sqrt(k)ηR
于是k<=（R/γ）^2

感知机学习算法的对偶形式：
当对第i个样本分类错误是，用yixi和yi对w和b进行更新，因此w和b可以用Σαiyixi和Σαiyi表示，其中权重αi表示第i个样本的误分类次数与η的乘积，若η=1，就是第i个样本的误分类次数，权重越大被误分类的次数越多，样本越靠近分类超平面。
yi（w·xi+b) = yi(Σαjyjxjxi + b）= yi(Σαjyjxj·xi + b）
可以讲xj·xi先算出来保存到一个矩阵中，这个矩阵叫做Gram Matrix。
算法过程：
（1）初始化α0=（α1，α2，……αn），b0
（2）在训练集中选取数据（xi，yi）
（3）如果yi(Σαjyjxj·xi + b）<=0
α <—— α + η
b <——b + ηyi
(4）转至（2）直到训练集中没有误分类点

感知机学习算法存在许多解，这些解既依赖于初值的选择，也依赖于迭代过程中的误分类点的选择顺序。当训练模型线性不可分时，感知机学习算法不收敛，迭代结果会发生震荡。