《统计学习方法》极简笔记P2：感知机数学推导

感知机模型

输入空间是$chisubseteqmathbb{R}^n$,输出空间是$y={+1,-1}$感知机定义为：$f(x)=sign(wx+b)$

感知机学习策略

输入空间任一点$x_0$到超平面S的距离：$frac{1}{||w||}|wx_0+b|$误分类数据$(xi,yi)$,有$-yi(wxi+b)>0$误分类点$xi$到超平面S的距离$-frac{1}{||w||}yi(wx_i+b)$误分类点集合M,所有误分类点到超平面S的距离$-frac{1}{||w||}sum{xiin{M}}yi(wxi+b)$由此，感知机损失函数定义为$L(w,b)=-sum{xiin{M}}yi(wxi+b)$

感知机学习算法（原始形式）

输入：训练数据集$T={(x1,y1),(x2,y2),(xN,yN)...,(x1,y1)}$$xiinchisubseteqmathbb{R}^n$,$yiin{y}={+1,-1}$,学习率$eta$输出：w,b;感知机模型$f(x)=sign(wx+b)$(1)选取初值$w0$,$b0$(2)训练集选取$(xi,yi)$(3)IF $yi(wxi+b)≤0$$w←w+eta{yixi}$$b←b+eta{y_i}$(4)转至(2),直到没有误分类点。

另：感知机算法是收敛的，在训练数据及上的误分类次数k满足$k≤(frac{R}{gamma})^2$

感知机学习算法（对偶形式）

由原始形式$w←w+eta{yixi}$$b←b+eta{y_i}$进行n次,w,b关于$(xi,yi)$增量分别为$aiyixi$和$aiy_i$记$ai=nieta$,最后学习到的w,b表示为$w=sum{i=1}^{N}aiyixi$$b=sum{i=1}^{N}aiy_i$输入：训练数据集$T={(x1,y1),(x2,y2),(xN,yN)...,(x1,y1)}$$xiinchisubseteqmathbb{R}^n$,$yiin{y}={+1,-1}$,学习率$eta$输出：a,b;感知机模型$f(x)=sign(sum{j=1}^{N}ajyjxj·x+b)$其中$a=(a1,a2,...,a_N)^T$(1)$a←0$;$b←0$(2)训练集选取$(xi,yi)$(3)IF $yi(sum{j=1}^{N}ajyjxj·xi+b)≤0$$ai←ai+eta$$b←b+eta{y_i}$(4)转至(2),直到没有误分类点。记Gram矩阵$G=[x_i·x_j]_{N×N}$