周志华机器学习笔记-C6

支持向量机SVM

面向回归与分类的算法，其核心是支持向量的概念。

一、支持向量机基本型

本节介绍支持向量机在处理二元分类问题的基本型，硬间隔且认为数据线性可分。

1、支持向量及SVM基本思想：在二元分类问题，总希望找到鲁棒性最好的划分超平面，其思想在算法的体现即为寻找两类数据之间间隔最大区域的中间平面。间隔最大区域必然和数据集优交点，交点即为支持向量。此时优化问题被描述为不等式约束下的最值问题。

2、SVM对偶问题：通常不直接求解上述最值问题（虽然有求解凸二次问题的包，但是效率不高），而是将其转换为相应的对偶问题，并开发相应快速算法（如SMO）。具体先将系数最值问题写为拉格朗日形式，再将最值条件代入拉格朗日函数，就得到关于拉格朗日乘子的最值问题。求得乘子最优解后代入系数w、b表达即得划分超平面。注意，不等式约束要求满足额外的KKT条件。

二、核函数与软间隔

本节主要面向线性不可分的分类问题，核函数与软间隔都能一定程度上进行解决，软间隔也可缓解过拟合问题。

1、核函数：若问题总线性不可分，可将数据映射到高维空间使其线性可分，再采用SVM方法（如异或问题可映射至三维用二维平面区分）。其问题描述完全与基本型类似，只需将x换为映射后的特征向量φ(x)，故其又称为SVM特征空间描述。

但是发现使用特征空间描述后会出现特征空间内积项，一方面我们无法知道具体的映射是什么，一方面即使知道了映射，我们可能也会面对高维内积运算。因此，我们采用核函数代替上述内积，其中核函数是依据经验的已知映射，如线性核、多项式核、高斯核等。

2、软间隔：这主要是缓解近似线性可分与过拟合的手段。在特征空间或样本空间做SVM时，其实很难出现完全线性可分的情形，此时我们不能断言它是线性不可分的，大多数情形可能是近似线性可分。而我们若强行升维核函数处理，有可能导致过拟合现象。此时，我们就应当允许一些点跨入间隔区域。

其基本思想为对跨越分界的点施加惩罚，即添加含损失函数的正则项。反映到优化问题如下。损失函数最好选为01损失，但是该函数性质不好，一般替换为hinge损失、指数损失或对率损失等。但是表达有些复杂，因此可以引入松弛变量进一步简化。

Hinge函数松弛变量形式：

三、支持向量回归

本节将SVM思想推广至回归问题产生SVR支持向量回归。

1、SVR基本思想：构造“间隔带”，间隔带中面即为回归超平面，间隔带内的所有点不计入误差（即容忍），可写出其误差最小化问题，对偶化求解其拉格朗日乘子，返回求解其回归超平面。同样，也可在特征空间写出其表达，求解只需考虑核函数方法。

误差最小化问题带松弛变量表达

对偶问题