ML Note 1.3 - SVM

对于一个二分类问题 y ∈ { 1 , − 1 } y \in \{1, -1\} y∈{1,−1} 我们希望用一个超平面 $w^{T}x+b=0$ 来区分样本
$$h(x)=sign\left(w^{T}x+b\right)$$

Fisher 准则

样本空间中总有一个方向 $w$ 使属于不同类别的样本在这一方向上的投影 $z=w^{T}x$ 分开得最好。对于类别 k ∈ { 1 , − 1 } k \in \{1, -1\} k∈{1,−1} 定义下标集
η k = { i ∣ y ( i ) = k } \eta_k = \{i|y^{(i)} = k\} ηk​={i∣y(i)=k}

由此定义样本均值
$${\tilde{m}}_k=\frac{1}{|{\eta }_k|}\sum _{i\in {\eta }_k}{z}_i$$

以及样本类内离散度
$${\tilde{S}}_k=\sum _{i\in {\eta }_k}{\left(z_i-{\tilde{m}}_k\right)}^2$$

我们希望每个类别的 $S_k$ 尽量小，同时样本间的差距尽量大。由此构造准则函数
$$J(w)=\frac{{\left({\tilde{m}}_1-{\tilde{m}}_{-1}\right)}^2}{{\tilde{S}}_1+{\tilde{S}}_{-1}}$$

类似的可以在原样本空间中定义

符号	定义	备注
$m_k$	$\frac{1}{|{\eta }_k|}\sum _{i\in {\eta }_k}{x}^{(i)}$	样本均值向量
$S_k$	$\sum _{i\in {\eta }_k}\left(x^{(i)}-m_k\right){\left(x^{(i)}-m_k\right)}^T$	样本类内离散度矩阵
$S_w$	$S_1+S_{-1}$	总类内离散度矩阵
$S_b$	$\left(m_1-m_{-1}\right){\left(m_1-m_{-1}\right)}^T$	样本类间离散度矩阵

可以证明
$$J(w)=\frac{w^T{S}_b{w}^T}{w^T{S}_{w}w}$$

应用广义瑞利商的性质可以证明¹
$$w^{\ast }=S_w^{-1}\left(m_1-m_{-1}\right)$$

计算阈值时，可以采用经验公式
$$b=-\frac{1}{2}({\tilde{m}}_1+{\tilde{m}}_{-1})$$

或者用贝叶斯分类器确定。

---

Support vector machine 希望找到一个超平面，使超平面两侧的空白区域达到最大。

Optimal Margin Classifier

假设 $S$ 线性可分，可以认为 $w^{T}x+b$ 的绝对值反映了单次预测的可信度。定义 functional margin
$${\hat{\gamma }}^{(i)}=y^{(i)}(w^T{x}^{(i)}+b)$$

如果 ${\hat{\gamma }}^{(i)}>0$ 则说明预测正确。而 ${\hat{\gamma }}^{(i)}$ 越大，说明预测的可信度越高。定义样本集的 functional margin
$$\hat{\gamma }=\underset{i=1,\dots ,m}{\min }{\hat{\gamma }}^{(i)}$$

则我们的目标可以表示为
$$\underset{w,b}{\max }\hat{\gamma }$$

但是如果 $w$ 以一定比例增大 $\hat{\gamma }$ 可以变得无穷大。因此我们还需要一个约束
$$||w||=1$$

但是这个问题并不是凸优化，因此定义 geometric margins
$$\begin{array}{lcl}{\gamma }^{(i)}& =& y^{(i)}\left({\left(\frac{w}{||w||}\right)}^T{x}^{(i)}+\frac{b}{||w||}\right)\\ \gamma & =& \underset{i=1,\dots ,m}{\min }{\gamma }^{(i)}\end{array}$$

从几何角度考虑，${\gamma }^{(i)}$ 代表第 i 个样本到决策面的距离。因为距离决策面越远的点具有越高的可信度，所以原问题可以变为
$$\underset{w,b}{\max }\gamma$$

但是现在目标函数不是凸函数，因此还是不能应用凸优化。不过 w 的长度可以任取而不影响目标函数值了，而总有一个系数可以使 $\hat{\gamma }=1$ 成立。因此将原问题重述为
$$\begin{array}{rll}\underset{w,b}{\min }& \frac{1}{2}||w|{|}^2& \\ \text{s.t.}& y^{(i)}(w^T{x}^{(i)}+b)\ge 1,& i=1,\dots ,m\end{array}$$

Soft Margin Classifier

对于线性不可分的 $S$ 采用 $l_1$ regularization 重述问题
$$\begin{array}{rll}\underset{w,b,\xi }{\min }& \frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\xi }_i& \\ \text{s.t.}& y^{(i)}(w^T{x}^{(i)}+b)\ge 1-{\xi }_i,& i=1,\dots ,m\\ & {\xi }_i\ge 0,& i=1,\dots ,m\end{array}$$

构造 generalized Lagrangian
$$L(w,b,\xi ,\alpha ,\beta )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\xi }_i-\sum _{i=1}^m{\alpha }_i[y^{(i)}(w^T{x}^{(i)}+b)-1+{\xi }_i]-\sum _{i=1}^m{\beta }_i{\xi }_i$$

容易验证
$$\begin{array}{rcl}w& =& \vec{0}\\ b& =& 0\\ {\xi }_i& =& 2\end{array}$$

满足 the Slater’s condition，因此对偶问题与原问题有相同的最优解
$$\begin{array}{rl}\underset{\alpha ,\beta }{\max }& {\theta }_D(\alpha ,\beta )\end{array}$$

为了求
$${\theta }_D(\alpha ,\beta )=\underset{w,b,\xi }{\min }L$$

对 $L$ 求导得
$$\begin{array}{rclcl}{\nabla }_{w}L& =& w-\sum _{i=1}^m{\alpha }_i{y}^{(i)}{x}^{(i)}& =& 0\\ \frac{\partial }{\partial b}L& =& -\sum _{i=1}^m{\alpha }_i{y}^{(i)}& =& 0\\ \frac{\partial }{\partial {\xi }_i}L& =& C-{\alpha }_i-{\beta }_i& =& 0\end{array}$$

带入 $L$ 可得对偶问题
$$\begin{array}{rl}\underset{\alpha ,\beta }{\max }& \sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^m{y}^{(i)}{y}^{(j)}{\alpha }_i{\alpha }_j⟨x^{(i)},x^{(j)}⟩\\ \text{s.t.}& 0\le {\alpha }_i\le C,i=1,\dots ,m\\ & \sum _{i=1}^m{\alpha }_i{y}^{(i)}=0\end{array}$$

由 KKT complementary conditions 可以得到
$$\begin{array}{rcl}{a}_i^{\ast }=0& \Rightarrow & y^{(i)}(w^T{x}^{(i)}+b)\ge 1\\ 0<a_i^{\ast }<C& \Rightarrow & y^{(i)}(w^T{x}^{(i)}+b)=1\\ a_i^{\ast }=C& \Rightarrow & y^{(i)}(w^T{x}^{(i)}+b)\le 1\end{array}$$

SMO²

为了同时对 $({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_m)$ 进行优化，最直观的想法是使用坐标上升。但是在这个问题中，等式条件
$$\sum _{i=1}^m{\alpha }_i{y}^{(i)}=0$$

在改变任何一个变量的值后都无法保持成立。因此 SMO 算法同时更新两个变量，以保持等式条件成立
repeat  { Select some pair  ( α i , α j )  to update by heuristic Optimize  W  w.r.t.  ( α i , α j ) } \begin{aligned} &\text{repeat}\ \{\\ &\qquad \text{Select some pair }(\alpha_i,\alpha_j)\text{ to update by heuristic}\\ &\qquad\text{Optimize }W\text{ w.r.t. }(\alpha_i,\alpha_j)\\ &\} \end{aligned} ​repeat {Select some pair (αi​,αj​) to update by heuristicOptimize W w.r.t. (αi​,αj​)}​

其中 $W$ 为优化的目标函数
$$W=\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^m{y}^{(i)}{y}^{(j)}{\alpha }_i{\alpha }_j⟨x^{(i)},x^{(j)}⟩$$

Solving for Two Lagrange Multipliers

设第一步中选取的优化变量为 $({\alpha }_1,{\alpha }_2)$ 令常数
$$\zeta \equiv -\sum _{i=3}^m{\alpha }_i{y}^{(i)}={\alpha }_1{y}^{(1)}+{\alpha }_2{y}^{(2)}$$

则两个优化变量实际可以简化为一个
$${\alpha }_1=(\zeta -{\alpha }_2{y}^{(2)})y^{(1)}$$

由此将原问题转化为单变量优化问题
$${\alpha }_2:=\arg \underset{{\hat{\alpha }}_2}{\max }W((\zeta -{\hat{\alpha }}_2{y}^{(2)})y^{(1)},{\hat{\alpha }}_2,{\alpha }_3,\dots ,{\alpha }_m)$$

定义变量
$$\begin{array}{rcl}\eta & =& ⟨x^{(1)},x^{(1)}⟩+⟨x^{(2)},x^{(2)}⟩-2⟨x^{(1)},x^{(2)}⟩\\ E_i& =& w^T{x}^{(i)}+b-y^{(i)}\end{array}$$

注意到 $\eta$ 是 $W$ 的二阶导数，一般情况下有 $\eta >0$ 。可以解得³
$${\alpha }_2:={\alpha }_2+\frac{y^{(2)}\left(E_1-E_2\right)}{\eta }$$

由此求出的 ${\alpha }_2$ 有可能违反约束条件 $0<a_i^{\ast }<C$ 。为了使 $({\alpha }_1,{\alpha }_2)$ 同时满足约束条件，这个点必须位于下图的斜线上

当 $y_1\ne y_2$ 时，定义
H = min ⁡ { C , C + α 2 − α 1 } L = max ⁡ { 0 , α 2 − α 1 } \begin{array}{rcl} H &=& \min\{C, C + \alpha_2 - \alpha_1\}\\ L &=& \max\{0, \alpha_2 - \alpha_1\} \end{array} HL​==​min{C,C+α2​−α1​}max{0,α2​−α1​}​

否则，定义
H = min ⁡ { C , α 2 + α 1 } L = max ⁡ { 0 , α 2 + α 1 − C } \begin{array}{rcl} H &=& \min\{C, \alpha_2 + \alpha_1\}\\ L &=& \max\{0, \alpha_2 + \alpha_1 - C\} \end{array} HL​==​min{C,α2​+α1​}max{0,α2​+α1​−C}​

如果变量的最优值违反了约束条件而无法取到，则选择这一变量可行域中最接近最优值的一侧边界作为新的变量值
$${\alpha }_2^{new,clipped}:=\{\begin{array}{rc}H,& {\alpha }_2^{new}\ge H\\ {\alpha }_2^{new},& L<{\alpha }_2^{new}<H\\ L,& {\alpha }_2^{new}\le L\end{array}$$

由此可以解得
$${\alpha }_1:={\alpha }_1+y^{(1)}{y}^{(2)}\left({\alpha }_2-{\alpha }_2^{new,clipped}\right)$$

得到 ${\alpha }_1,{\alpha }_2$ 后，需要更新 $b$ 使 KKT 条件对其成立。定义
$$\begin{array}{rcl}{b}_1& =& b-E_1-y^{(1)}({\alpha }_1^{new}-{\alpha }_1)⟨x^{(1)},x^{(1)}⟩-y^{(2)}({\alpha }_2^{new,clipped}-{\alpha }_2)⟨x^{(1)},x^{(2)}⟩\\ b_2& =& b-E_2-y^{(1)}({\alpha }_1^{new}-{\alpha }_1)⟨x^{(2)},x^{(1)}⟩-y^{(2)}({\alpha }_2^{new,clipped}-{\alpha }_2)⟨x^{(2)},x^{(2)}⟩\end{array}$$

当 ${\alpha }_1\in (0,C)$ 时 $b_1$ 有效，对 ${\alpha }_2$ 同理。如果只有一个 $b$ 有效时，该值即为新的阈值。当两个 $b$ 都有效时，应有 $b_1=b_2$ 成立。当两个 $b$ 都无效时，取
$$b:=\frac{b_1+b_2}{2}$$

Heuristics for Choosing Which Multipliers to Optimize

Osuna’s Theorem 保证每次更新都会使目标函数值减小，只要有至少一个 $\alpha$ 违反了 KKT 条件。为了保证收敛 SMO 首先寻找违反 KKT 条件的 ${\alpha }_2$ 作为 ${\alpha }_2$ 。这里所说的违反 KKT 条件指的是不满足
$$\begin{array}{rcl}{a}_i^{\ast }=0& \wedge & y^{(i)}(w^T{x}^{(i)}+b)\ge 1\\ 0<a_i^{\ast }<C& \wedge & y^{(i)}(w^T{x}^{(i)}+b)=1\\ a_i^{\ast }=C& \wedge & y^{(i)}(w^T{x}^{(i)}+b)\le 1\end{array}$$

通过化简可以得到等价的判断条件
$$\left(y^{(i)}{E}_i<0\wedge a_i^{\ast }<C\right)\vee \left(y^{(i)}{E}_i>0\wedge a_i^{\ast }>0\right)$$

由于 KKT 条件本身是比较严格的，因此引入误差项 $\epsilon$ 一般取 $1e^{-3}$
$$\left(y^{(i)}{E}_i<-\epsilon \wedge a_i^{\ast }<C\right)\vee \left(y^{(i)}{E}_i>\epsilon \wedge a_i^{\ast }>0\right)$$

当遍历过整个数据集后，那些处在边界的 $\alpha$ 在后续更新时会倾向于留在边界。这里所说的边界指 $\alpha =0$ 或 $\alpha =C$ 。为了将 CPU 时间集中在处理更有可能违背 KKT 条件的数据上 SMO 转而遍历所有非边界 $\alpha$ 直到他们都满足 KKT 条件为止。这时 SMO 只能再次遍历整个数据集。如果遍历过程中没有遇到违反 KKT 条件的数据，即可退出循环；否则跳回上一步遍历非边界点。实现代码如下

numChanged = 0;
examineAll = true;
while (numChanged > 0 || examineAll)
    numChanged = 0;
    if examineAll
        for i = 1 : m
            numChanged = numChanged + examineExample(i);
        end
    else
        for i = 1 : m
            if 0 < alpha(i) && alpha(i) < C
                numChanged = numChanged + examineExample(i);
            end
        end
    end
    if examineAll
        examineAll = false;
    elseif numChanged == 0
        examineAll = 1;
    end
end

选定 ${\alpha }_2$ 后，可以在所有 $\alpha$ 中选择使步长 $|E_1-E_2|/\eta$ 最大化的一个作为 ${\alpha }_1$ 。但是在某些情况下，这样选出的 ${\alpha }_1$ 不能使更新过程正常进行。这时就需要遍历所有非边界 $\alpha$ 甚至是全体 $\alpha$ 来尝试更新。在一些极端情况下，没有一个 $\alpha$ 可以作为 ${\alpha }_1$ ，这时就需要抛弃 ${\alpha }_2$ 重新选择。

---

当循环结束时，可以根据 $\alpha$ 的值计算
$$w^{\ast }=\sum _{i=1}^m{\alpha }_i{y}^{(i)}{x}^{(i)}$$

但是这个值只有在没有指定核函数时有意义。在使用核函数的情况下需要用下式进行预测
$$h(x)=sign\left(\sum _{i=1}^m{\alpha }_i{y}^{(i)}⟨x^{(i)},x⟩+b^{\ast }\right)$$

Kernels

有些情况下，决策边界无法用一个超平面来表示。这时可以选择适当的 feature mapping $\varphi$ 将 input attribute $x$ 映射到高维，从而使其线性可分

但是这样做会使内积的计算量激增，因此实际操作中会选择一个 kernel
$$K(x,z)=⟨\varphi (x),\varphi (z)⟩$$

左式的核函数一般计算起来比较简便，从而避免了映射和内积的操作。常见的核函数有

名称	$K(x,z)$
Polynomial	$(x^{T}z+c{)}^d$
Gaussian	$\exp \left(-\frac{||x-z|{|}^2}{2{\sigma }^2}\right)$
Sigmoid	$\tanh \left({\beta }_0{x}^{T}z+{\beta }_1\right)$

但是并不是任何一个函数都可以作为核函数，因为不一定存在适当的基函数 $\varphi$ 与之对应。对于一个函数
$$K:{\mathbb{R}}^n\times {\mathbb{R}}^n\to \mathbb{R}$$

定义其对应的 kernel matrix
$$K=(K_{ij})\in {\mathbb{R}}^{n\times n}$$

其中
$$K_{ij}=K(x^{(i)},x^{(j)})$$

Mercer theorem 给出了 $K$ 是一个合法核函数的充分必要条件

Matrix $K$ is symmetric positive semi-definite

---

1. 线性判别分析LDA原理总结 ↩︎

2. 【机器学习详解】SMO算法剖析 ↩︎

3. 对 $W$ 求导得
   $$\frac{\partial }{\partial {\alpha }_i}W=1-y^{(i)}\sum _{j=1}^m{y}^{(j)}{\alpha }_j⟨x^{(i)},x^{(j)}⟩$$ 设 $f({\alpha }_2)=W\left(\left(\zeta -{\alpha }_2{y}^{(2)}\right)y^{(1)},{\alpha }_2,{\alpha }_3,\dots ,{\alpha }_m\right)$ 则
   $$\begin{array}{rcl}\frac{df}{d{\alpha }_2}& =& \frac{\partial }{\partial {\alpha }_1}W\cdot \left(-y^{(1)}{y}^{(2)}\right)+\frac{\partial }{\partial {\alpha }_2}W\\ & =& 1-y^{(2)}\sum _{j=1}^m{y}^{(j)}{\alpha }_j⟨x^{(2)},x^{(j)}⟩-y^{(1)}{y}^{(2)}+y^{(2)}\sum _{j=1}^m{y}^{(j)}{\alpha }_j⟨x^{(1)},x^{(j)}⟩\\ & =& 1-y^{(1)}{y}^{(2)}+y^{(2)}\sum _{j=3}^m{y}^{(j)}{\alpha }_j⟨x^{(1)},x^{(j)}⟩-y^{(2)}\sum _{j=3}^m{y}^{(j)}{\alpha }_j⟨x^{(2)},x^{(j)}⟩\\ & & +y^{(2)}{y}^{(1)}{\alpha }_1⟨x^{(1)},x^{(1)}⟩+{\alpha }_2⟨x^{(1)},x^{(2)}⟩-y^{(2)}{y}^{(1)}{\alpha }_1⟨x^{(2)},x^{(1)}⟩\\ & & -{\alpha }_2⟨x^{(2)},x^{(2)}⟩\\ & =& 1-y^{(1)}{y}^{(2)}+y^{(2)}\sum _{j=3}^m{y}^{(j)}{\alpha }_j⟨x^{(1)},x^{(j)}⟩-y^{(2)}\sum _{j=3}^m{y}^{(j)}{\alpha }_j⟨x^{(2)},x^{(j)}⟩\\ & & +y^{(2)}\zeta \left(⟨x^{(1)},x^{(1)}⟩-⟨x^{(1)},x^{(2)}⟩\right)-\eta {\alpha }_2\\ & =& 0\end{array}$$ 可以解得
   $$\begin{array}{rcl}{y}^{(2)}\eta {\alpha }_2^{new}& =& y^{(2)}-y^{(1)}+\sum _{j=3}^m{y}^{(j)}{\alpha }_j⟨x^{(1)},x^{(j)}⟩-\sum _{j=3}^m{y}^{(j)}{\alpha }_j⟨x^{(2)},x^{(j)}⟩\\ & & +\zeta \left(⟨x^{(1)},x^{(1)}⟩-⟨x^{(1)},x^{(2)}⟩\right)\\ & =& y^{(2)}-y^{(1)}+\sum _{j=1}^m{y}^{(j)}{\alpha }_j⟨x^{(1)},x^{(j)}⟩-\sum _{j=1}^m{y}^{(j)}{\alpha }_j⟨x^{(2)},x^{(j)}⟩\\ & & +y^{(2)}\eta {\alpha }_2\end{array}$$ over. ↩︎