Coursera - 机器学习技法 - 课程笔记 - Week 1

Linear Support Vector Machine

Large-Margin Separating Hyperplane

• 线性可分情形
  • 存在一个“解集”
  • 哪个解是最优的？
    • PLA算法中随机得到
    • 根据VC边界，每个解的效果都一样$E_{out}(\mathbf{w})\le E_{in}(\mathbf{w})+\Omega (\mathcal{H})$
  • 对采样误差的容忍度
    • 对过拟合更加鲁棒
    • 这个分界面离数据点更远——大margin
• 目标
  • 能够整个分开所有样本
  • 距离所有样本点的距离最大

Standard Large-Margin Problem

• 形式化假设（将截距单独列出）：$h(\mathbf{x})=\mathrm{sign}({\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b)$
• 样本点$\mathbf{x}$到分类超平面${\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b=0$的距离（${\mathbf{x}}^{\prime }$为平面上任意一点，距离即连线沿法向投影）：$\left|\frac{\mathbf{w}}{\Vert \mathbf{w}\Vert }(\mathbf{x}-{\mathbf{x}}^{\prime })\right|=\frac{1}{\Vert \mathbf{w}\Vert }|{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b|$
• 基于线性可分的假设，有$y_n({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_n+b)>0$，那么可以脱掉绝对值为$\frac{1}{\Vert \mathbf{w}\Vert }{y}_n({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_n+b)$
• 形式化间隔优化问题：

$$\begin{array}{rl}\underset{b,\mathbf{w}}{\max }& \mathrm{margin}(b,\mathbf{w})\\ \mathrm{s}.\mathrm{t}.& y_n({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_n+b)>0\\ & \mathrm{margin}(b,\mathbf{w})=\underset{n=1,\dots ,N}{\min }\frac{1}{\Vert \mathbf{w}\Vert }{y}_n({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_n+b)\end{array}$$

• 直线族可以被放缩
  • 将间隔放缩到1：${\min }_{n=1,\dots ,N}{y}_n({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_n+b)=1$
  • 优化问题被简化：$\mathrm{margin}(b,\mathbf{w})=\frac{1}{\Vert \mathbf{w}\Vert }$
• 松弛约束条件：只要求$y_n({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_n+b)\ge 1$
• 进一步简化：转为最小化优化问题，去除根号

$$\begin{array}{rl}\underset{b,\mathbf{w}}{\min }& \frac{1}{2}{\mathbf{w}}^{\mathrm{T}}\mathbf{w}\\ \mathrm{s}.\mathrm{t}.& y_n({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_n+b)\ge 1,\text{for all }n\end{array}$$

• 其中的$\frac{1}{2}$用于后续求导的系数处理

Support Vector Machine

• 支撑向量：位于最小距离上，能够描述出超平面的样本点
• 支撑向量机：在支撑向量的辅助之下学习最宽的分类超平面
• 不能使用GD——但是是一个凸的优化函数、线性约束——QP问题
• QP形式：

$$\begin{array}{rl}\mathrm{optimal}\mathbf{u}& \leftarrow \mathrm{QP}(\mathbf{Q},\mathbf{p},\mathbf{A},\mathbf{c})\\ \underset{\mathbf{u}}{\min }& \frac{1}{2}{\mathbf{u}}^{\mathrm{T}}\mathbf{Q}\mathbf{u}+{\mathbf{p}}^{\mathrm{T}}\mathbf{u}\\ \mathrm{s}.\mathrm{t}.& {\mathbf{a}}_m^{\mathrm{T}}\mathbf{u}\ge {\mathbf{c}}_m,m=1,2,\dots ,M\end{array}$$

• 线性硬间隔SVM的对应形式

$$\begin{gathered} \mathbf{u}=\left[\begin{array}{c}b\\ \mathbf{w}\end{array}\right]\mathbf{Q}=\left[\begin{array}{cc}0& 0_d^{\mathrm{T}}\\ 0_d& {\mathbf{I}}_d\end{array}\right]\mathbf{p}=0_{d+1} \\ {\mathbf{a}}_n^{\mathrm{T}}=y_n\left[\begin{array}{cc}1& {\mathbf{x}}_n^{\mathrm{T}}\end{array}\right]{\mathbf{c}}_n=1M=N \end{gathered}$$

• 线性：不对${\mathbf{x}}_n$进行变换
• 硬间隔：不存在违反边界的情形

Reasons behind Large-Margin Hyperplane

• 可以认为是要求$E_{in}=0$（并且还要大于一定的值）的正则化过程
• 增加了间隔限制，能够降级VC维度，保证更好的泛化性能
• 需要考虑$d_{vc}({\mathcal{A}}_{\rho })$（数据依赖，需要VC理论之外的更多信息），而不是$d_{vc}(\mathcal{H})$（数据独立，VC理论保证），其中$\rho$表示间隔宽度
• 通常小于$d+1$：$d_{vc}({\mathcal{A}}_{\rho })\le \min \left(\frac{{\mathbf{R}}^2}{{\rho }^2},d\right)+1\le d+1$