Coursera - 机器学习技法 - 课程笔记 - Week 2

Dual Support Vector Machine

Motivation of Dual SVM

• 非线性SVM：直接将$\mathbf{x}$换成$\mathbf{z}=\Phi (\mathbf{x})$

• QP问题处理$\tilde{d}+1$个变量，$N$个约束

• 对偶问题，有$N$个变量，$N+1$个约束，与转换的空间无关

• 利用拉格朗日乘子法，将所有的$\lambda$视作未知参数，从而将有约束优化问题转换为无约束优化问题（实际上是把约束条件内含了）

$$\mathcal{L}(b,\mathbf{w},\alpha )=\frac{1}{2}{\mathbf{w}}^{\mathrm{T}}\mathbf{w}+\sum _{n=1}^N{\alpha }_n(1-y_n({\mathbf{w}}^{\mathrm{T}}{\mathbf{z}}_n+b))$$

• SVM实际上变成了${\min }_{b,\mathbf{w}}({\max }_{{\alpha }_n\ge 0}\mathcal{L}(b,\mathbf{w},\alpha ))$

  • 对任何违反规则的点，$y_n({\mathbf{w}}^{\mathrm{T}}{\mathbf{z}}_n+b)<1$，此时括号内最优化结果为无意义的正无穷（肯定找可行情形的值作为“最小值”）
  • 对任何可行的点，$y_n({\mathbf{w}}^{\mathrm{T}}{\mathbf{z}}_n+b)\ge 1$，此时括号内的最佳情形为所有的$\alpha$为0，目标回到$\min \frac{1}{2}{\mathbf{w}}^{\mathrm{T}}\mathbf{w}$

Lagrange Dual SVM

• 拉格朗日对偶问题：${\min }_{b,\mathbf{w}}({\max }_{{\alpha }_n\ge 0}\mathcal{L}(b,\mathbf{w},\alpha ))\ge {\max }_{{\alpha }^{\prime }\ge 0}({\min }_{b,\mathbf{w}}\mathcal{L}(b,\mathbf{w},{\alpha }^{\prime }))$
• 最小化上界 -> 最大化下界
• 在QP问题中，可以在一定条件下将上述弱对偶问题转换为强对偶问题
  • 原问题为凸
  • 原问题可解
  • 线性约束
• 强对偶关系下，两侧的结果一样
• 对偶形式：

$$\underset{{\alpha }_n\ge 0}{\max }\left(\underset{b,\mathbf{w}}{\min }\frac{1}{2}{\mathbf{w}}^{\mathrm{T}}\mathbf{w}+\sum _{n=1}^N{\alpha }_n(1-y_n({\mathbf{w}}^{\mathrm{T}}{\mathbf{z}}_n+b))\right)$$

• 内部问题无约束，最优情形
  • KaTeX parse error: Undefined control sequence: \part at position 7: \frac{\̲p̲a̲r̲t̲ ̲\mathcal L(b, \…
  • 可以加入这个约束条件${\sum }_{n=1}^N{\alpha }_n{y}_n=0$，并不影响最优解
• $b$可以被移除

$$\underset{{\alpha }_n\ge 0,\sum y_n{\alpha }_n=0}{\max }\left(\underset{\mathbf{w}}{\min }\frac{1}{2}{\mathbf{w}}^{\mathrm{T}}\mathbf{w}+\sum _{n=1}^N{\alpha }_n(1-y_n({\mathbf{w}}^{\mathrm{T}}{\mathbf{z}}_n))\right)$$

• 内部问题仍然是无约束的，最优情形
  • KaTeX parse error: Undefined control sequence: \part at position 7: \frac{\̲p̲a̲r̲t̲ ̲\mathcal L(b, \…
  • 可解$\mathbf{w}={\sum }_{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n$
• 继续简化

$$\underset{{\alpha }_n\ge 0,\sum y_n{\alpha }_n=0,\mathbf{w}=\sum {\alpha }_n{y}_n{\mathbf{z}}_n}{\max }-\frac{1}{2}\Vert \sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n{\Vert }^2+\sum _{n=1}^N{\alpha }_n$$

• KKT条件：
  • 原问题可解$y_n({\mathbf{w}}^{\mathrm{T}}{\mathbf{z}}_n+b)\ge 1$
  • 对偶问题可解${\alpha }_n\ge 0$
  • 对偶问题的内部最优化$\sum y_n{\alpha }_n=0,\mathbf{w}=\sum {\alpha }_n{y}_n{\mathbf{z}}_n$
  • 原为题的内部最优化${\alpha }_n(1-y_n({\mathbf{w}}^{\mathrm{T}}{\mathbf{z}}_n+b))=0$（最优情形下，拉格朗日项消失）——互补松弛性（两个部分至少一个为0）

Solving Dual SVM

• 硬间隔SVM对偶形式

$$\begin{array}{rl}\underset{\alpha }{\min }& \frac{1}{2}\sum _{n=1}^N\sum _{m=1}^M{\alpha }_n{\alpha }_m{y}_n{y}_m{\mathbf{z}}_n^{\mathrm{T}}{\mathbf{z}}_n-\sum _{n=1}^N{\alpha }_n\\ \mathrm{s}.\mathrm{t}.& \sum _{n=1}^N{y}_n{\alpha }_n=0\\ & {\alpha }_n\ge 0,n=1,2,\dots ,N\end{array}$$

• QP系数：

  • $q_{n,m}=y_n{y}_m{\mathbf{z}}_n^{\mathrm{T}}{\mathbf{z}}_n$
  • $\mathbf{p}=-1_N$
  • $\mathbf{a}\ge y,\mathbf{a}\le -y,{\mathbf{a}}_n^{\mathrm{T}}=第n个单位向量$
  • $c\ge 0,c\le 0,c_n=0$

• $\alpha >0$时，$y_n({\mathbf{w}}^{\mathrm{T}}{\mathbf{z}}_n+b)=1$，此时样本点为SV

Messages behind Dual SVM

• 只认为$\alpha >0$的样本点为SV
• 可以只用SV的信息计算$\mathbf{w}$
• 使用任意一个SV计算$b$
• 和PLA，SGD等类似，权重可以被数据表现出来
  • 在SVM中，$\mathbf{w}$只需要使用SV表示出来