《机器学习》阅读笔记 第六章

SVM 基本型

想法：找到位于两类训练样本“正中间”的超平面，其面对样本的扰动时最稳健，如何找呢？有以下要求：

1. 正确分类：定义 y i ∈ { − 1 , 1 } y_i \in \{-1,1\} yi​∈{−1,1}，则

$$({\mathbf{w}}^T{\mathbf{x}}_i+b)y_i\ge 1$$

2. 最大间隔：“间隔”是超平面的方向向量穿过距离超平面最近的样本点而构成的超平面，表示为 $\frac{2}{||\mathbf{w}||}$，于是

$$\begin{array}{rl}& \max \frac{2}{||\mathbf{w}||}\\ ⟹& \min \frac{1}{2}||\mathbf{w}|{|}^2\end{array}$$

这是支持向量机的基本型.

对偶问题

写出支持向量机基本型的拉格朗日函数：

$$L(\mathbf{w},b,\mathbf{\lambda })=\frac{1}{2}||\mathbf{w}|{|}^2+\sum _i^m{\lambda }_i[1-({\mathbf{w}}^T{\mathbf{x}}_i+b)y_i]$$

这个不等式约束优化问题的 KKT 条件是：

$$\begin{array}{rl}\mathbf{w}& =\sum _{i=1}^m{\lambda }_i{y}_i{\mathbf{x}}_i\\ 0& =\sum _{i=1}^m{\lambda }_i{y}_i\\ {\lambda }_i& \ge 0\\ ({\mathbf{w}}^T{\mathbf{x}}_i+b)y_i-1& \ge 0\\ [1-({\mathbf{w}}^T{\mathbf{x}}_i+b)y_i]{\lambda }_i& =0\end{array}$$

将第一个式子代入原式，其余作为新的约束，得到对偶式

$$\max \sum _{i=1}^m{\lambda }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\lambda }_i{\lambda }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j\text{\hspace{1em}(*)}$$

发现：

• 对这个式子做优化比原来简单，只需处理一些等式约束和一些简单的不等式约束，原式则需要处理线性的不等式约束
• 由 KKT 条件的后三个式子，若某个样本出现在求和式中，则必有该样本在间隔上
• 也就是说，最终的训练过程只与支持向量有关

如何求解这个二次规划问题呢？可以采用 SMO 算法，SMO 算法的基本思路是先固定除了 ${\lambda }_i$ 的所有参数，再求关于 ${\lambda }_i$ 的极值点，直至目标函数收敛，步骤是：

1. 选取一对需要更新的变量 ${\lambda }_i,{\lambda }_j$
2. 固定除此之外的所有参数，求解目标式 $(\ast )$ ，以更新 ${\lambda }_i,{\lambda }_j$
3. 选取时，需要使选取的两变量所对应样本之间的问隔最大

核函数

SVM 基本型采用超平面作为分割，这是训练样本线性可分。如果要处理非线性可分问题（如“异或”问题），需要将样本从原始平面映射到一个高维空间（特征空间）：

$$x⟼\varphi (x)$$

此时，新的分类模型可表示为：

$$f(\mathbf{x})={\mathbf{w}}^T\varphi (\mathbf{x})+b$$

将这个模型代入 SVM 基本型中求解即可.

然而，在求解中，涉及到计算特征空间中的内积 $\varphi ({\mathbf{x}}_{\mathbf{i}}{)}^T\varphi ({\mathbf{x}}_{\mathbf{j}})$，比较困难，希望找到这样一个函数，满足：

$$\kappa ({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})=\varphi ({\mathbf{x}}_{\mathbf{i}}{)}^T\varphi ({\mathbf{x}}_{\mathbf{j}})$$

这样，就将高维空间的内积计算转换为原空间的某个函数 $\kappa (\cdot ,\cdot )$ 的计算结果，这样的函数称为核函数，常用的核函数有：

• 线性核：$x_i^T{x}_j$
• 多项式核：$(x_i^T{x}_j{)}^d$
• 高斯核：$\exp (-\frac{||x_i-x_j|{|}^2}{2{\sigma }^2})$

等等。

软间隔与正则化

以上内容假定样本在特征空间中是线性可分的，然而，在现实情况中：

• 往往难以确定合适的核函数使得训练样本在特征空间中线性可分
• 即使找到了核函数，也难以确定结果是否由过拟合造成的

处理办法是：允许某些样本不满足约束

$$({\mathbf{w}}^T{\mathbf{x}}_i+b)y_i\ge 1$$

这样做称为“软间隔”，将间隔放入某个损失函数 $\mathcal{L}(\cdot )$ 中，构成了一个正则化项，加入目标函数中：

$$\min \frac{1}{2}||\mathbf{w}|{|}^2+\lambda \sum _{i=1}^m\mathcal{L}(({\mathbf{w}}^T{\mathbf{x}}_i+b)y_i-1)$$

直观地看，$\lambda$ 越大，最小化上式越接近最小化正则项式，就要求间隔越“硬”，取一个有限值 $\lambda$，允许一些样本不满足约束。这样，就能适当缓解过拟合的问题。类似基本 SVM 的解法，可以用拉格朗日乘子法构造对偶问题，再用迭代方法求解。

常用的损失函数 $\mathcal{L}(\cdot )$ 有：

• 0-1 损失：$\mathbb{I}(\cdot )$
• Hinge 损失：$\max (0,1-z)$
• 指数损失：$\exp (-z)$
• 对率损失：$\log (1+\exp (-z))$