机器学习之支持向量机SVM（二）

第二次总结支持向量机，主要涉及到实现SVM的算法—SMO算法，分为简易版和完整版。打卡，7月1号之前完成~

一、SMO算法的最优化问题分析

SMO算法要解决的凸二次规划的对偶问题：$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ 0⩽{\alpha }_i⩽C，i=1,2,\dots ,N \end{gathered}$$
注：在写数学公式的时候，光标出现了问题，之前光标是一条线，想在哪里修改就在哪里修改。不知道哪里出现了问题，光标变成了一个蓝框，公式编起来非常麻烦。

解决方法：

切换光标的模式的方法为按 insert 键。笔记本电脑有的需要同时按 Fn + insert 键能在三种状态之间切换。

SMO算法是一种启发式算法，其主要思想为：选择两个变量${\alpha }_1,{\alpha }_2$，固定其他变量，针对这两个变量建立一个二次规划问题，形式为：
$$\begin{gathered} \underset{{\alpha }_1,{\alpha }_2}{\min }W({\alpha }_1,{\alpha }_2)=\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2-({\alpha }_1+{\alpha }_2) \\ +y_1{\alpha }_1\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i1}+y_2{\alpha }_2\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i,2} \\ s.t.{\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^N{y}_i{\alpha }_i=\varsigma \\ 0⩽{\alpha }_i⩽C，i=1,2 \end{gathered}$$

1.无约束下的二次规划问题的极值

令$${\nu }_i=\sum _{j=3}^N=g(x_i)-\sum _{j=1}^2{\alpha }_j{y}_{j}K(x_i,x_j)-b,i=1,2$$
目标函数为：
$$\begin{gathered} W({\alpha }_1,{\alpha }_2)==\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2-({\alpha }_1+{\alpha }_2) \\ +y_1{\nu }_1{\alpha }_1+y_2{\nu }_2{\alpha }_2 \end{gathered}$$
由${\alpha }_1{y}_1=\varsigma -{\alpha }_2{y}_2$及$y_1^2=1$,可将${\alpha }_1$表示为：
$${\alpha }_1=(\varsigma -y_2{\alpha }_2)y_1$$
带入到$W({\alpha }_1,{\alpha }_2)$的表达式中，
W ( α 2 ) = 1 2 K 11 ( ς − y 2 α 2 ) 2 + 1 2 K 22 α 2 2 + y 2 K 12 ( ς − y 2 α 2 ) α 2 − ( ς − y 2 α 2 ) y 1 − α 2 + ν 1 ( ς − y 2 α 2 ) + y 2 ν 2 α 2 W(\alpha_{2})=\frac{1}{2}K_{11}(\varsigma-y_{2}\alpha_{2})^{2}+\frac{1}{2}K_{22}\alpha_{2}^{2}+y_{2}K_{12}(\varsigma-y_{2}\alpha_{2})\alpha_{2}\\-(\varsigma-y_{2}\alpha_{2})y_{1}-\alpha_{2}+\nu_{1}(\varsigma-y_{2}\alpha_{2})+y_{2}\nu_{2}\alpha_{2} W(α2​)=21​K11​(ς−y2​α<