CS229 Lecture 7

CS229 Lecture 7

---

课程要点：

最有边界分类
原始/对偶问题
原始/对偶优化问题(KKT)
支持向量机对偶问题
核方法

---

支持向量机的函数$h_{w,b}(x)=g(w^{T}x+b)$,$g(z)=\{\begin{array}{ll}1& ifz\ge 0\\ -1& otherwise\end{array}$, y ∈ { − 1 , 1 } y\in\{-1,1\} y∈{−1,1}。在支持向量机中关于函数价格的定义为${\hat{\gamma }}^{(i)}=y^{(i)}(w^T{x}^{(i)}+b)$。

支持向量机关于几何间隔的定义为：${\gamma }^{(i)}=y^{(i)}(\frac{w^T}{||w||}x+\frac{b}{||w||})$,对于一批样本几何间隔的定义为：$\gamma =min{\gamma }^{(i)}$。根据几何间隔的定义可知，对$w,b$按照任意比例进行放缩都不会影响分隔的超平面，以及间隔大小。

---

最大化几何间隔

方法1:
$$\begin{gathered} \underset{w,b}{\max }\gamma \\ s.t{y}^{(i)}(w^T{x}^{(i)}+b)\ge \gamma i=1,\cdots ,m \\ ||w||=1 \end{gathered}$$

由于$||w||=1$属于非凸优化问题，难以解出。

---

方法2:

$$\begin{gathered} \underset{\gamma ,w,b}{\max }\frac{\hat{\gamma }}{||w||} \\ s.t{y}^{(i)}(w^T{x}^{(i)}+b)\ge \hat{\gamma } \end{gathered}$$

上式虽然摆脱了$||w||=1$,然而$\frac{\hat{\gamma }}{||w||}$依旧是一个非凸优化问题。

---

方法3:

前面说过可以对$w,b$任意缩放而不改变其几何间隔。那么现在令$\hat{\gamma }=1$,因此有$\underset{i}{\min }{y}^{(i)}(w^T{x}^{(i)}+b)=1$，对于方法2的变形为：

$$\begin{gathered} \underset{w,b}{\min }||w|{|}^2 \\ s.t{y}^{(i)}(w^T{x}^{(i)}+b)\ge 1 \end{gathered}$$

其中$\underset{w,b}{\min }||w|{|}^2$,相当于$\underset{w,b}{\max }\frac{1}{||w||}$

这样的优化问题没有局部最有解。

对于这种有约束最优化问题，就如上图所示，可行域被各种限制屏蔽掉，最有解只能在剩余的里面找。在还哪有被排除的点收敛到全局最优。

---

原始问题于对偶问题

原始问题：

$$\begin{gathered} \underset{w}{\min }f(w) \\ s.t{h}_i(w)=0i=1\cdots m \end{gathered}$$

将约束条件向量化表示的话$h(w)=\left[\begin{array}{c}{h}_1(w)\\ h_2(w)\\ ⋮\\ h_m(w)\end{array}\right]=\vec{0}$

将其转换为拉格朗日函数为：$L(w,\beta )=f(w)+{\sum }_{i=1}^m{\beta }_i{h}_i(w)$,其中${\beta }_i$被称为拉格朗日乘子。

求解拉格朗日函数的方法为：

$\frac{\partial L}{\partial w}=0$且$\frac{\partial L}{\partial \beta }=0$

如果说$w^{\ast }$是这个拉格朗日函数的最优解的话,那么必然存在$\beta \ast$使得$\frac{\partial L(w^{\ast },\beta \ast )}{\partial w}=0,\frac{\partial L(w^{\ast },\beta \ast )}{\partial \beta }=0$

---

这里将这种受限最优化问题泛化为包含不等式约束条件；

原始问题为：

$$\begin{gathered} \underset{w}{\min }f(w) \\ s.t{g}_i(w)=0i=1\cdots k \\ {h}_i(w)=0i=1\cdots l \end{gathered}$$

为了求解该问题，拉格朗日函数的定义为：

$\mathcal{L}(w,\alpha ,\beta )=f(w)+{\sum }_{i=1}^k{\alpha }_i{g}_i(w)+{\sum }_{i=1}^l{\beta }_i{h}_i(w)$

$\alpha$和$\beta$被称之为拉格朗日乘子。现在定义${\theta }_{\mathcal{P}}(w)=\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }\mathcal{L}(w,\alpha ,\beta )$

现在假设$w$给定那么，如果说$w$违背了约束条件，例如$g_i(w)>0$或者$h_i(w)̸=0$,那么：

${\theta }_{\mathcal{P}}(w)=\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }f(w)+{\sum }_{i=1}^k{\alpha }_i{g}_i(w)+{\sum }_{i=1}^l{\beta }_i{h}_i(w)=\infty$

相反如果$w$符合约束那么${\theta }_{\mathcal{P}}(w)=f(w)$,因此：

${\theta }_{\mathcal{P}}(w)=\{\begin{array}{ll}f(w)& ifwstatisfyprimalconstraints\\ \infty & otherwise\end{array}$

如果说$w$满足约束那么，${\theta }_{\mathcal{P}}(w)$等于原始目标函数，否则无穷大。

$\underset{w}{\max }{\theta }_{\mathcal{P}}(w)=\underset{w}{\min }\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }\mathcal{L}(w,\alpha ,\beta )$

这个优化问题等于我们的原始优化问题，定义最优解为：
$p^{\ast }=\underset{w}{\min }\mathcal{P}(w)$

---

对偶问题

${\theta }_{\mathcal{D}}(\alpha ,\beta )=\underset{w}{\min }\mathcal{L}(w,\alpha ,\beta )$

$\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }{\theta }_{\mathcal{D}}(\alpha ,\beta )=\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }\underset{w}{\min }\mathcal{L}(w,\alpha ,\beta )$

上式最优解为$d^{\ast }=\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }{\theta }_{\mathcal{D}}(w)$

$p^{\ast }$和$d^{\ast }$的关系为：

$d^{\ast }=\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }\underset{w}{\min }\mathcal{L}(w,\alpha ,\beta )\le \underset{w}{\min }\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }\mathcal{L}(w,\alpha ,\beta )=p^{\ast }$

$\max \min \le \min \max$

举个例子：

max ⁡ y ∈ { 0 , 1 } ( min ⁡ x ∈ { 0 , 1 } 1 { x = y } ) ≤ min ⁡ x ∈ { 0 , 1 } ( max ⁡ y ∈ { 0 , 1 } 1 { x = y } ) \mathop {\max }\limits_{y\in\{0,1\}}(\mathop {\min }\limits_{x\in\{0,1\}}1\{x=y\})\le\mathop {\min }\limits_{x\in\{0,1\}}(\mathop {\max }\limits_{y\in\{0,1\}}1\{x=y\}) y∈{0,1}max​(x∈{0,1}min​1{x=y})≤x∈{0,1}min​(y∈{0,1}max​1{x=y})

---

KKT(Karush-Kuhn-Tucker)

在某些特定条件下原始问题和对偶问题的解相同，这些条件就是：

$f(w)$是一个一个凸函数，$h_i$是放射函数，并且$g_i$是可行的，这意味着$\exists w,s.t{\forall }_i{g}_i(w)<0$

$f(w)$是一个凸函数的判定依据可以为其$Hessian$矩阵是半正定的，放射函数的一般形式为$h_i(w)=a_i^{T}w+b_i$,和线性函数类似只是多了截距项$b_i$

在上面这些假设下，必定存在$w\ast ,{\alpha }^{\ast },{\beta }^{\ast }$其中$w^{\ast }$为原始问题的解，${\alpha }^{\ast },{\beta }^{\ast }$为对偶问题的解，且满足$d^{\ast }=p^{\ast }=\mathcal{L}(w^{\ast },{\alpha }^{\ast },{\beta }^{\ast })$。$w\ast ,{\alpha }^{\ast },{\beta }^{\ast }$满足KKT条件：

$\frac{\partial }{\partial w_i}\mathcal{L}(w^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0,i=1,\cdots ,m$

$\frac{\partial }{\partial {\beta }_i}\mathcal{L}(w^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0,i=1,\cdots ,l$

${\alpha }_i^{\ast }{g}_i(w^{\ast })=0,i=1,\cdots ,k$

$g_i(w^{\ast })\le 0,i=1,\cdots ,k$

${\alpha }_i^{\ast }\ge 0,i=1,\cdots ,k$

其中${\alpha }_i^{\ast }{g}_i(w^{\ast })=0,i=1,\cdots ,k$这个式子叫做KKT 对偶完整性条件，它意味着如果${\alpha }_i^{\ast }>0$那么$g_i(w)=0$,在这种情况下$g_i$是一个激活约束。

---

最优间距分类器

在前面的优化问题中找出其最大间隔分类器：

$$\begin{gathered} \underset{w,b}{\min }||w|{|}^2 \\ s.t{y}^{(i)}(w^T{x}^{(i)}+b)\ge 1 \end{gathered}$$

这里我们将约束写为：

$g_i(w,b)=-y^{(i)}(w^T{x}^{(i)}+b)+1\le 0$

根据KKT对偶完整性条件，如果${\alpha }_i^{\ast }>0$，那么可以推导出函数间隔恰好为1，即$g_i(w)=0$

从上图可以看出距离中间实线最近的有三个点，这三个点的函数间隔正好为1，这也意味着只可能这三个样本对应的${\alpha }_i^{\ast }$不等于0。这三个点被称之为支持向量。在支持向量机的训练样本中并不会有特别多的支持向量。于${\alpha }_i^{\ast }=0$对应的点称为非支持向量。

这个优化问题对应的拉格朗日函数为：

$\mathcal{L}(w,\alpha ,\beta )=\frac{1}{2}||w|{|}^2+{\sum }_{i=1}^m{\alpha }_i[-y^{(i)}(w^T{x}^{(i)}+b)+1]$

由于在支持向量机的设定中只有不等式的约束，没有等式约束，下面看看其对应的对偶问题是什么：

${\theta }_{\mathcal{D}}(\alpha )=\underset{w,b}{\min }\mathcal{L}(w,b,\alpha )$

对$\mathcal{L}(w,b,\alpha )$求导：
${\nabla }_w\mathcal{L}(w,b,\alpha )=w-{\sum }_{i=1}^m{\alpha }_i{y}^i{x}^i=0$

得出：

$w={\sum }_{i=1}^m{\alpha }_i{y}^i{x}^i$

$\mathcal{L}(w,b,\alpha )$对$b$求导：

$\frac{\partial \mathcal{L}}{\partial b}={\sum }_{i=1}^m{\alpha }_i{y}^{(i)}=0$

将其带入：

$$\begin{gathered} \mathcal{L}(w,b,\alpha )=\frac{1}{2}(\sum _{i=1}^m{\alpha }_i{y}^i{x}^i{)}^T(\sum _{i=j}^m{\alpha }_j{y}^j{x}^j)-\cdots \\ =\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{y}^i{y}^j{\alpha }_i{\alpha }_j<x^{(i)},x^{(j)}>-\sum _{i=1}^m\sum _{j=1}^m{y}^i{y}^j{\alpha }_i{\alpha }_j<x^{(i)},x^{(j)}>+\sum _{i=1}^m{\alpha }_i \\ =\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{y}^i{y}^j{\alpha }_i{\alpha }_j<x^{(i)},x^{(j)}>-b\sum _{i=1}^m{\alpha }_i{y}^{(i)} \\ =\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{y}^i{y}^j{\alpha }_i{\alpha }_j<x^{(i)},x^{(j)}> \end{gathered}$$

---

$\underset{a}{\min }W(\alpha )={\sum }_{i=1}^m{\alpha }_i-\frac{1}{2}{\sum }_{i=1}^m{\sum }_{j=1}^m{y}^i{y}^j{\alpha }_i{\alpha }_j{x}^{(i)T}{x}^{(j)}$

$s.t{\alpha }_i\ge 0,i=1,\cdots ,m$

${\sum }_{i=1}^m{\alpha }_i{y}^{(i)}=0$

如果${\sum }_{i=1}^m{\alpha }_i{y}^{(i)}̸=0$,那么${\theta }_{\mathcal{D}}(\alpha )=\infty$,对于$\underset{\alpha >0}{\max }{\theta }_{\mathcal{D}}(\alpha )$如果${\sum }_{i=1}^m{\alpha }_i{y}^{(i)}=0$,那么$\mathcal{D}=W(\alpha )$

首先计算$\alpha$,进而可以根据$w={\sum }_{i=1}^m{\alpha }_i{y}^{(i)}{x}^{(i)}$计算出$w$,最后计算$b$。

$b=-\frac{\underset{i,y^{(i)=-1}}{\max }{w}^{\ast T}{x}^{(i)}+\underset{i,y^{(i)=1}}{\min }{w}^{\ast T}{x}^{(i)}}{2}$

对于$b$的求解公式的直观理解就是，找到最差的正样本于负样本，根据它们的位置就知道分隔平面放在哪里了。

---

假设已经求出了$w,b$，对于一个新的样本点预测其类别$h_{w,b}(x)=g(w^{T}x+b)$,我们知道$w={\sum }_{i=1}^m{\alpha }_i{y}^i{x}^i$,那么$w^{T}x+b={\sum }_{i=1}^m{\alpha }_i{y}^i<x^i,x>+b$，因为大多数样本点对应的$\alpha$都是0，因此只有支持向量参与计算才有意义。

---

Kernels

对于特征维度很高甚至是无限维的话($x^{(i)}\in R^{\infty }$)，因此核方法$<x^{(i)},x^{(j)}>$是一种高效计算的方法。当然这中方法也只是针对一些特定的特征空间成立。