SVM——笔记

点到超平面的距离

向量$x$到超平面$w^{T}x+b$的距离为
$$|w^T(x-x_0)|=|w||x-x_0|\cos \frac{\pi }{2}=||w||d$$
又因为
$$w^T(x-x_0)=w^{T}x-w^T{x}_0=w^{T}x+b$$
合并上两式
$$\begin{array}{rl}|w^T(x-x_0)|& =|w^{T}x+b|=||w||d\\ & \Rightarrow d=\frac{1}{||w||}|w^{T}x+b|\end{array}$$

硬间隔分类器

由于超平面有两端，再另一端则会出现负号，为了消除这个负号，我们乘上类标 y ∈ { − 1 , 1 } y \in \{ -1,1\} y∈{−1,1}
$${\gamma }_i=y_i(w^T{x}_i+b)$$
结合点到超平面的距离公式，发现只需要除以$||w||$就能将${\gamma }_i$转化为距离
$$d_i=\frac{{\gamma }_i}{||w||}=\frac{y_i(w^{T}x+b)}{||w||}$$
为了使得每个向量到超平面的距离尽可能的大，只需要使最小的$d_i$最大即可，同时，其他向量到超平面的距离会大于这个最小距离，即：
$$\begin{array}{rl}\underset{w,b}{\max }& \frac{\gamma }{||w||}\\ s.t.& y_i(w^T{x}_i+b)\ge 0,i=1,\dots ,n\end{array}$$
此处使得$\gamma$取到最小的$x_i$即为支持向量，支持向量机也就行想使得支持向量离超平面尽可能的远。
由于$w,b$可以以任意比例缩放，所以令$\gamma =1$，可推出
$$\begin{array}{rl}\underset{w,b}{\max }& \frac{1}{||w||}\\ s.t.& y_i(w^T{x}_i+b)\ge 1,i=1,\dots ,n\end{array}$$
当$\frac{1}{||w||}$取得最大值时$||w||$最小，故可再转化为
$$\begin{array}{rl}\underset{w,b}{\min }& w^{T}w\\ s.t.& y_i(w^T{x}_i+b)\ge 1,i=1,\dots ,n\end{array}$$
为了解决带约束的最优化问题，使用拉格朗日乘子法，构建拉格朗日函数
$$\mathcal{L}(w,b,\alpha )=\frac{1}{2}{w}^{T}w+\sum _{i=1}^n{a}_i\left[1-y_i(w^T{x}_i+b)\right]$$
于是将问题转化为不带$w,b$约束的优化问题
$$\begin{array}{rl}\underset{w,b}{\min }& \underset{\alpha }{\max }\mathcal{L}\\ s.t.& {\alpha }_i\ge 0\end{array}$$
当$1-y_i(w^T{x}_i+b)$不满足约束时，$ma{x}_{\alpha }\mathcal{L}=$，这样是没有意义的。而当其满足约束时$ma{x}_{\alpha }\mathcal{L}=0$。
再将其转化为对偶问题
$$\begin{array}{rl}\underset{\alpha }{\max }& \underset{w,b}{\min }\mathcal{L}\\ s.t.& {\alpha }_i\ge 0\end{array}$$
先看最小化的部分，发现与$\alpha$无关，于是可以直接对$w,b$求导
$$\begin{array}{rl}& \frac{\partial \mathcal{L}}{\partial b}=0\Rightarrow \sum _{i=1}^n{\alpha }_i{y}_i=0\\ & \frac{\partial \mathcal{L}}{\partial w}=0\Rightarrow w=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i\end{array}$$
将其带回原式
$$\begin{array}{rl}\mathcal{L}& =\frac{1}{2}(\sum _{i=1}^n{\alpha }_i{y}_i{x}_i{)}^T\sum _{j=1}^n{\alpha }_j{y}_j{x}_j-\sum _{i=1}^n{\alpha }_i{y}_i\left[(\sum _{j=1}^n{\alpha }_j{y}_j{x}_j{)}^T{x}_i+b\right]+\sum _{i=1}^n{\alpha }_i\\ & =\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j+\sum _{i=1}^n{\alpha }_i\\ & =\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\end{array}$$
将原约束问题转化为
$$\begin{array}{rl}\underset{\alpha }{\max }& \sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\\ s.t.& \sum _{i=1}^n{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0\end{array}$$
但上式只能对$w$求解，而对于$b$的求解则需要用到KKT条件(因为函数$\mathcal{L}$满足一些条件，故其满足KKT条件)
$$\{\begin{array}{rl}& \frac{\partial \mathcal{L}}{\partial w}=0,\frac{\partial \mathcal{L}}{\partial b}=0\\ & {\alpha }_i\left[1-y_i(w^T{x}_i+b)\right]=0\text{αi[1−yi(wTxi+b)]=0}{\alpha }_i\left[1-y_i(w^T{x}_i+b)\right]=0\\ & 1-y_i(w^T{x}_i+b)\le 0\\ & {\alpha }_i\ge 0\end{array}$$
故当$x_i$为支持向量时满足$1-y_i(w^T{x}_i+b)=0$，推出$b=y_i-w^T{x}_i$，再结合$w$
$$\{\begin{array}{rl}& w^{\ast }=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i\\ & b^{\ast }=y_i-(\sum _{j=1}^n{\alpha }_j{y}_j{x}_j{)}^T{x}_i\end{array}$$

软间隔分类器

在数据不能线性可分的情况下，硬间隔SVM是不收敛的，故在原有最优化条件上加一个损失，使其成为软间隔分离器
$$\underset{w,b}{\min }{w}^{T}w+C\sum _{i=1}^n(\max \left\{0,1-y_i(w^T{x}_i+b)\right\})$$
但是一般不会写成括号里的形式，令$\max \left\{0,1-y_i(w^T{x}_i+b)\right\}={\xi }_i$，故将最优化问题转化为
$$\begin{array}{rl}\underset{w,b}{\min }& w^{T}w+C\sum _{i=1}^n{\xi }_i\\ s.t.& y_i(w^T{x}_i+b)\ge 1-{\xi }_i\\ & {\xi }_i\ge 0\end{array}$$
引入拉格朗日乘子，并将其转化为对偶问题
$$\begin{array}{rl}\underset{\alpha ,\beta }{\max }\underset{w,b}{\min }& \mathcal{L}=w^{T}w+C\sum _{i=1}^n{\xi }_i-\sum _{i=1}^n{\alpha }_i\left[{\xi }_i+y_i(w^T{x}_i+b)-1\right]-\sum _{i=1}^n{\beta }_i{\xi }_i\\ & {\alpha }_i\ge 0\\ & {\beta }_i\ge 0\end{array}$$
同时，其满足KKT条件
$$\{\begin{array}{rl}& \frac{\partial \mathcal{L}}{\partial w}=0,\frac{\partial \mathcal{L}}{\partial b}=0,\frac{\partial \mathcal{L}}{\partial \xi }=0\\ & {\alpha }_i\left[1-y_i(w^T{x}_i+b)\right]=0\\ & {\beta }_i{\xi }_i=0\\ & y_i(w^T{x}_i+b)-1+{\xi }_i\le 0\\ & {\xi }_i,{\alpha }_i,{\beta }_i\ge 0\end{array}$$
对$w,b,\xi$分别求偏导得出：
$$\begin{array}{rl}& \frac{\partial \mathcal{L}}{\partial b}=0\Rightarrow \sum _{i=1}^n{\alpha }_i{y}_i=0\\ & \frac{\partial \mathcal{L}}{\partial w}=0\Rightarrow w=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i\\ & \frac{\partial \mathcal{L}}{\partial \xi }=0\Rightarrow {\xi }_i=C-{\beta }_i\end{array}$$
对$\mathcal{L}$化简
$$\begin{array}{rl}\mathcal{L}& =w^{T}w-\sum _{i=1}^n{\alpha }_i{y}_i(w^{T}x+b)+\sum _{i=1}^n{\alpha }_i+\sum _{i=1}^n(C-{\alpha }_i){\xi }_i-\sum _{i=1}^n(C-{\alpha }_i){\xi }_i\\ & =\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\end{array}$$
优化问题转化为
$$\begin{array}{rl}\underset{\alpha }{\max }& \sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\\ s.t.& 0\le {\alpha }_i\le C,i=1,\dots ,n\\ & \sum _{i=1}^m{\alpha }_i{y}_i=0\end{array}$$

SMO

由于需要满足等式约束${\sum }_{i=1}^m{\alpha }_i{y}_i=0$，而当只改变一个${\alpha }_i$时会违反该约束，所以一次至少要对两个${\alpha }_i$进行修改