机器学习算法（三）- 支持向量机

1 背景

假设样本为 ${\left\{\begin{array}{c}{x}_i,y_i\end{array}\right\}}_{i=1}^N$，其中 $y\in \left\{\begin{array}{c}1,-1\end{array}\right\}$, 意图构造分类器 $\hat{y}=sign(w^{T}x+b)$

若样本可分，则满足条件的 $w,b$ 有无穷多组解。

支持向量机解决的问题就是从这无穷多组解中，找到泛化性能最好的一组。

2 思想

假设样本点 $(x_i,y_i)$ 到超平面 $w^{T}x+b=0$ 的距离为 $d_i$ ,
则泛化性能最好的 $\hat{w},\hat{b}$ 满足: $\hat{w},\hat{b}=\underset{w,b}{\mathrm{argmax}}(min(d_1,d_2,...,d_N))$。
从几何角度去解释即：找到一超平面，使得所有样本点到平面的最小距离最大化。

3 推导

根据线性代数的知识，$(x_i,y_i)$ 到超平面 $w^{T}x+b=0$ 的距离为
$$d_i=\frac{1}{||w||}|w^T{x}_i+b|$$

结合 $y_i\in \left\{\begin{array}{c}1,-1\end{array}\right\}$，可去掉绝对值符号
$$d_i=\frac{1}{||w||}(w^T{x}_i+b)y_i$$

由于对 $w,b$ 等比例缩放，得到的是同一超平面，因此存在 $w,b$ 满足
$$min{\left\{\begin{array}{c}(w^T{x}_i+b)y_i\end{array}\right\}}_{i=1}^N=1$$

因此，可将问题简化为
$$\begin{array}{rl}& \hat{w},\hat{b}=\underset{w,b}{\mathrm{argmax}}\frac{1}{||w||}\\ s.t& min(w^T{x}_i+b)y_i=1\end{array}$$

将公式进一步变形可得
$$\begin{array}{rl}& \hat{w},\hat{b}=\underset{w,b}{\mathrm{argmin}}\frac{1}{2}{w}^{T}w\\ s& .t(w^T{x}_i+b)y_i\ge 1\end{array}$$

定义
$$\begin{array}{rl}L(w,b,\lambda )& =\frac{1}{2}{w}^{T}w-\sum _{i=1}^N{\lambda }_i[(w^T{x}_i+b)y_i-1]\\ s.t& (w^T{x}_i+b)y_i-1\ge 0,{\lambda }_i\ge 0\end{array}$$

由于${\lambda }_i\ge 0$
$$\underset{\lambda \ge 0}{\max }L(w,b,\lambda )=\{\begin{array}{cc}\frac{1}{2}{w}^{T}w& (w^T{x}_i+b)y_i-1\ge 0\\ +\infty & (w^T{x}_i+b)y_i-1<0\end{array}$$

$$\underset{w,b,{\lambda }_i\ge 0}{\min }L(w,b,\lambda )=\underset{w,b}{\min }(\frac{1}{2}{w}^{T}w,+\infty )=\underset{w,b}{\min }\frac{1}{2}{w}^{T}w$$

因此，可去掉 $(w^T{x}_i+b)y_i-1\ge 0$ 的约束，将原问题变形为
$$L(\hat{w},\hat{b},\hat{\lambda })=\underset{w,b}{\min }\underset{\lambda }{\max }L(w,b,\lambda )s.t\lambda \ge 0$$

上式即为SVM的原问题。

4 计算

在上述SVM的原问题中，不能直接将 $L(w,b,\lambda )$ 对 $\lambda$ 求导，考虑到函数 $f(w)=\frac{1}{2}{w}^{T}w$ 为凸函数，且约束条件 ${\lambda }_i\ge 0$ 满足Slater条件。

所以，SVM的原问题可等价转化为其对偶问题求解，也即
$$\begin{array}{rl}L(\hat{w},\hat{b},\hat{\lambda })& =\underset{\lambda }{\max }\underset{w,b}{\min }L(w,b,\lambda )\\ & =\underset{\lambda }{\max }\underset{w,b}{\min }(\frac{1}{2}{w}^{T}w-\sum _{i=1}^N{\lambda }_i[(w^T{x}_i+b)y_i-1])s.t\lambda \ge 0\end{array}$$

对$b$求导可得
$$\sum _{i=1}^N{\lambda }_i{y}_i=0$$

对$w$求导可得
$$w=\sum _{i=1}^N{\lambda }_i{y}_i{x}_i$$

将结果带入 $L(w,b,\lambda )$，化简可得
$$L(\hat{w},\hat{b},\hat{\lambda })=\underset{\lambda }{\max }(\sum _{i=1}^N{\lambda }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j)$$

$$s.t0\le {\lambda }_i\le C,\sum _{i=1}^N{\lambda }_i{y}_i=0$$

5 SMO算法

为了求出满足条件的 $\lambda$, 结合约束条件 ${\sum }_{i=1}^N{\lambda }_i{y}_i=0$，可使用SMO算法成对更新 ${\lambda }_i,{\lambda }_j$。
详细过程见SMO算法详解，这里直接给出结论

记 $x_i,x_j$ 的内积为 $K_{ij}$，$\eta =K_{11}+K_{12}-2K_{12}$，误差 $E_i=w^T{x}_i+b-y_i$

5.1 更新 $\lambda$

更新后的 ${\lambda }_j$
$${\lambda }_j^{new}={\lambda }_j^{old}+\frac{y_j(E_i-E_j)}{\eta }$$

结合约束条件 $0\le {\lambda }_i\le C$
$${\lambda }_j^{new}=min(max({\lambda }_j^{new},L),H)$$

其中
$$L=\{\begin{array}{cc}max(0,{\lambda }_j^{old}-{\lambda }_i^{old})& (y_i\ne y_j)\\ max(0,{\lambda }_j^{old}+{\lambda }_i^{old}-C)& (y_i=y_j)\end{array}$$

$$H=\{\begin{array}{cc}min(C,C+{\lambda }_j^{old}-{\lambda }_i^{old})& (y_i\ne y_j)\\ min(C,{\lambda }_j^{old}+{\lambda }_i^{old})& (y_i=y_j)\end{array}$$

结合约束条件 ${\sum }_{i=1}^N{\lambda }_i{y}_i=0$，更新 ${\lambda }_i$
$${\lambda }_i^{new}={\lambda }_i^{old}+y_i{y}_j({\lambda }_j^{old}-{\lambda }_j^{new})$$

5.2 更新 $b$

根据互补松弛条件

记 $b_i=E_i-({\lambda }_i^{new}-{\lambda }_i^{old})y_i{K}_{ii}-({\lambda }_j^{new}-{\lambda }_j^{old})y_j{K}_{ij}+b^{old}$
记 $b_j=E_j-({\lambda }_i^{new}-{\lambda }_i^{old})y_i{K}_{ij}-({\lambda }_j^{new}-{\lambda }_j^{old})y_j{K}_{jj}+b^{old}$

更新 $b$
$$b^{new}=\{\begin{array}{cc}{b}_i& (0<{\lambda }_i<C)\\ b_j& (0<{\lambda }_j<C)\\ \frac{b_i+b_j}{2}& (others)\end{array}$$