支持向量机-线性支持向量机和核函数

1.目标函数：
   若样本数据集线性不可分，则增加松弛因子${\xi }_i\ge 0$，使函数间隔加上松弛变量大于等于1，这样，约束条件变为
$$y_i\left(w\cdot x_i+b\right)\ge 1-{\xi }_i$$
   目标函数为：
$$\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i$$
$$\text{ s.t. }{y}_i\left(w\cdot x_i+b\right)\ge 1-{\xi }_i,i=1,2,\cdots ,n$$
2.带松弛因子的SVM拉格朗日函数及其计算：
$$L(w,b,\xi ,\alpha ,\mu )\equiv \frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^n{\xi }_i-\sum _{i=1}^n{\alpha }_i\left(y_i\left(w\cdot x_i+b\right)-1+{\xi }_i\right)-\sum _{i=1}^n{\mu }_i{\xi }_i$$
   对$\mathrm{w},\mathrm{b},\xi$分别求偏导
$$\begin{array}{rl}& \frac{\partial L}{\partial w}=0\Rightarrow w=\sum _{i=1}^n{\alpha }_i{y}_i\varphi \left(x_n\right)\\ & \frac{\partial L}{\partial b}=0\Rightarrow 0=\sum _{i=1}^n{\alpha }_i{y}_i\\ & \frac{\partial L}{\partial {\xi }_i}=0\Rightarrow C-{\alpha }_i-{\mu }_i=0\end{array}$$
   将三式带入L中得到
$$\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )=-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^n{\alpha }_i$$
   对上式关于$\alpha$的极大值，得到
$$\begin{array}{rl}& \underset{a}{\max }-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^n{\alpha }_i\\ & \text{ s.t. }\sum _{i=1}^n{\alpha }_i{y}_i=0\\ & \begin{array}{l}C-{\alpha }_i-{\mu }_i=0\\ {\alpha }_i\ge 0\\ {\mu }_i\ge 0,i=1,2,\dots ,n\end{array}0\le {\alpha }_i\le C\end{array}$$
   整理得到对偶问题：
$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^n{\alpha }_i$$
$$\begin{array}{rl}& \text{ s.t. }\sum _{i=1}^n{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C,i=1,2,\dots ,n\end{array}$$
   构造并求解约束最优化问题：
$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^n{\alpha }_i$$
$$\begin{array}{l}\text{ s.t. }{\sum }_{i=1}^n{\alpha }_i{y}_i=0\\ 0\le {\alpha }_i\le C,i=1,2,\dots ,n\end{array}$$
   求解得到最优解${\alpha }^{\ast }$
   计算
$$w^{\ast }=\sum _{i=1}^n{\alpha }_i^{\ast }{y}_i{x}_i$$
$$b^{\ast }=\frac{{\max }_{i:y_i=-1}{w}^{\ast }\cdot x_i+{\min }_{i:y_i=1}{w}^{\ast }\cdot x_i}{2}$$
   求得分离超平面$w^{\ast }x+b^{\ast }=0$
   分类决策函数
$$f(x)=\mathrm{sign}\left(w^{\ast }x+b^{\ast }\right)$$
3.损失函数分析
   绿色：0/1损失；蓝色：SVM Hinge损失函数；红色：Logistic损失函数。

   Logistic损失函数

4.核函数
   可以使用核函数，将原始输入空间映射到新的特征空间，从而可以使得原本线性不可分的样本。常见的有三种核函数：
      多项式核函数：$\kappa \left(x_1,x_2\right)={\left(x_1\cdot x_2+c\right)}^d$
      高斯核RBF函数：$\kappa \left(x_1,x_2\right)=\exp \left(-\gamma \cdot {\Vert x_1-x_2\Vert }^2\right)$
      Sigmoid核函数：$\kappa \left(x_1,x_2\right)=\tanh \left(x_1\cdot x_2+c\right)$
   （1）多项式核函数：
$$\begin{array}{rl}& \kappa (\vec{x},\vec{y})=(\vec{x}\cdot \vec{y}{)}^2\\ & \Rightarrow {\left(\sum _{i=1}^n{x}_i{y}_i\right)}^2\\ & =\sum _{i=1}^n\sum _{j=1}^n{x}_i{x}_j{y}_i{y}_j\\ & =\sum _{i=1}^n\sum _{j=1}^n\left(x_i{x}_j\right)\left(y_i{y}_j\right)\end{array}$$
     特别的，n=3，即为：
$$\Phi (\vec{x})=\left(\begin{array}{l}{x}_1{x}_1\\ x_1{x}_2\\ x_1{x}_3\\ x_2{x}_1\\ x_2{x}_2\\ x_2{x}_3\\ x_3{x}_1\\ x_3{x}_2\\ x_3{x}_3\end{array}\right)$$
   另外，$$\begin{array}{l}\kappa (\vec{x},\vec{y})=(\vec{x}\cdot \vec{y}+c{)}^2\\ \Rightarrow (\vec{x}\cdot \vec{y}{)}^2+2c\vec{x}\cdot \vec{y}+c^2\\ ={\sum }_{i=1}^n{\sum }_{j=1}^n\left(x_i{x}_j\right)\left(y_i{y}_j\right)+{\sum }_{i=1}^n\left(\sqrt{2c}{x}_i\cdot \sqrt{2c}{x}_j\right)+c^2\end{array}$$
     特别的，n=3，即为：
$$\Phi (\vec{x})=\left(\begin{array}{c}{x}_1{x}_1\\ x_1{x}_2\\ x_1{x}_3\\ x_2{x}_1\\ x_2{x}_2\\ x_2{x}_3\\ x_3{x}_1\\ x_3{x}_2\\ x_3{x}_3\\ \sqrt{2c}{x}_1\\ \sqrt{2c}{x}_2\\ \sqrt{2c}{x}_3\\ c\end{array}\right)$$
   核函数映射：

   （2）高斯核
$$\begin{array}{rl}& \kappa \left(x_1,x_2\right)=e^{\frac{{|x_1-x_2|}^2}{2{\sigma }^2}}=e^{-\frac{{\left(x_1-x_2\right)}^2}{2{\sigma }^2}}=e^{-\frac{x_1^2+x_2^2-2x_1{x}_2}{2{\sigma }^2}}=e^{-\frac{x_1^2+x_2^2}{2{\sigma }^2}}\cdot e^{\frac{x_1{x}_2}{{\sigma }^2}}\\ & \begin{array}{l}=e^{-\frac{x_1^2+x_2^2}{2{\sigma }^2}}\cdot \left(1+\frac{1}{{\sigma }^2}\cdot \frac{x_1{x}_2}{1!}+{\left(\frac{1}{{\sigma }^2}\right)}^2\cdot \frac{{\left(x_1{x}_2\right)}^2}{2!}+{\left(\frac{1}{{\sigma }^2}\right)}^3\cdot \frac{{\left(x_1{x}_2\right)}^3}{3!}+\cdots +{\left(\frac{1}{{\sigma }^2}\right)}^n\cdot \frac{{\left(x_1{x}_2\right)}^n}{n!}+\cdots \right)\\ =e^{\frac{x^2+x^2}{2{\sigma }^2}}\cdot \left(1\cdot 1+\frac{1}{1!}\frac{x_1}{\sigma }\cdot \frac{x_2}{\sigma }+\frac{1}{2!}\cdot \frac{x_1^2}{{\sigma }^2}\cdot \frac{x_2^2}{{\sigma }^2}+\frac{1}{3!}\cdot \frac{x_1^3}{{\sigma }^3}\cdot \frac{x_2^3}{{\sigma }^3}+\cdots +\frac{1}{n!}\cdot \frac{x_1^n}{{\sigma }^n}\cdot \frac{x_2^n}{{\sigma }^n}+\cdots \right)\\ =\Phi {\left(x_1\right)}^T\cdot \Phi \left(x_2\right)\end{array}\end{array}$$
其中，$\Phi (x)=e^{-\frac{x^2}{2{\sigma }^2}}\left(1,\sqrt{\frac{1}{1!}}\frac{x}{\sigma },\sqrt{\frac{1}{2!}}\frac{x^2}{{\sigma }^2},\sqrt{\frac{1}{3!}}\frac{x^3}{{\sigma }^3},\cdots ,\sqrt{\frac{1}{n!}}\frac{x^n}{{\sigma }^n},\cdots \right)$可以知道高斯核是无穷维。
5.总结和思考
   SVM可以用作多分类，1 vs 1 / 1 vs rest
   SVM和Logistic分类比较：SVM直接输出类别，Logistic输出属于哪个类别的后验概率。
   SVM用于回归问题：SVR。