机器学习经典算法之感知机与支持向量机

感知机

属于二分类的线性判别模型，是神经网络与支持向量机的基础。

基本公式：$f(x)=sign(wx+b)$

样本类别标签为 y ∈ { + 1 , − 1 } y \in \{+1,-1\} y∈{ +1,−1}

损失函数：

若将误分类的总数作为损失函数，不是参数$w,b$的连续可导函数，不易优化。误分类样本点到超平面的总距离$-\frac{1}{\Vert w\Vert }{\sum }_{x_i\in M}{y}_i(w{x}_i+b)$，不考虑$\frac{1}{\Vert w\Vert }$，$L(w,b)=-{\sum }_{x_i\in M}{y}_i(w{x}_i+b)$便是感知机的损失函数，为$w,b$的连续可导函数。对$w$求导得$-{\sum }_{x_i\in M}{y}_i{x}_i$，对$b$求导得$-{\sum }_{x_i\in M}{y}_i$，故$w$和$b$的更新公式为$w\leftarrow w+\eta y_i{x}_i$，$b\leftarrow b+\eta y_i$，其中$(x_i,y_i)$为错分样本，感知机每次随机选取错分样本，因此得到的超平面不唯一，初值选取不同，也会导致超平面不相同。

可证，感知机算法的收敛性：若样本线性可分，经过有限次迭代，可得到一个完全划分正确的超平面。

对偶形式：

对偶形式的基本想法为，由原始形式的$w$和$b$的更新公式，将$w$和$b$表示为实例$(x_i,y_i)$的线性组合形式$w={\sum }_{i=1}^N{\alpha }_i{y}_i{x}_i,b={\sum }_{i=1}^N{\alpha }_i{y}_i$，其中${\alpha }_i=n_i\eta$，$n_i$表示第$i$个实例样本由于误分类而进行更新的次数。

对偶形式算法：输入:线性可分的数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={ (x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)},其中 x i ∈ R n , y i ∈ { − 1 , + 1 } , i = 1 , 2 , ⋯   , N x_i\in R^n,y_i\in\{-1,+1\},i=1,2,\cdots,N xi​∈Rn,yi​∈{ −1,+1},i=1,2,⋯,N,学习率$\eta (0<\eta \le 1)$;

输出：$\alpha ,b$；感知机模型$f(x)=sign({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b)$，其中$\alpha =({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_N)$

(1)$\alpha \leftarrow 0,b\leftarrow 0$

(2)在训练集中选取数据$(x_i,y_i)$

(3)如果 y i ( ∑ j = 1 N α j y j x j ⋅ x + b ) ≤ 0 y_i(\sum_{j=1}^N\alpha_jy_jx_j\cdot x+b)\le0