SVM总结

博客园相关内容值得一看。$SVM$模型想要找到一个最鲁棒（即某些点更难划分之后结果仍然不变）的超平面来划分两类样本，当训练样本线性可分时，通过硬间隔最大化找到线性可分支持向量机；当训练样本近似线性可分时，通过软间隔最大化可以找到线性支持向量机；当训练样本线性不可分时，通过引入核技巧及软间隔最大化可以找到非线性支持向量机，即在高维空间中找线性支持向量机。假设标签是$+1/-1$，超平面是$w^{T}x+b=0$，给定数据$x$，决策函数是$sign(w^{T}x+b)$，那么$y_i(w^T{x}_i+b)>0$表示分类正确，$x_i$到平面的距离是$\frac{|w^{T}x+b|}{||w||}$，当$||w||$确定时，$y_i(w^T{x}_i+b)$还表示了$x_i$到超平面的相对距离，这个值越大表示$x_i$距离最优超平面$w^{T}x+b=0$的距离越远，分类更确信，定义样本$x_i$的函数间隔是$\widehat{{\gamma }_i}=y_i(w^T{x}_i+b)$，数据集的函数间隔是$\hat{\gamma }=mi{n}_i\widehat{{\gamma }_i}$，样本$x_i$的几何间隔是${\gamma }_i=\frac{y_i(w^T{x}_i+b)}{||w||}$，数据集的几何间隔是$\gamma =mi{n}_i{\gamma }_i$，它们的关系是$\gamma =\frac{\hat{\gamma }}{||w||}$，当$||w||=1$时两者相等。

点$(x,y)$到线$ax+by+c=0$的距离是$\frac{|ax+by+c|}{\sqrt{a^2+b^2}}$，即$x$到$w^{T}x+b=0$的距离是$\frac{|w^{T}x+b|}{||w||}$，推导过程：

• 直线上的向量以及与之共线的向量叫做直线的方向向量，任取直线上两点，求它们两点组成的向量就是方向向量。这里取$(0,-\frac{c}{b})$和$(-\frac{c}{a},0)$，它们相减就是方向向量$(-\frac{c}{a},\frac{c}{b})$，同乘$\frac{ab}{c}$不改变向量的方向，得到$(-b,a)$
• 直线的法向量是与直线方向向量正交的向量，容易得到是$(a,b)$，单位法向量即$\frac{1}{\sqrt{a^2+b^2}}(a,b)$
• 向量$a$在向量$b$上的投影是$||a||cos\theta$，即$\frac{a^{T}b}{||b||}$
• 在直线上任取一点，求点$(x,y)$与其组成的向量在单位法向量上的投影即是点到直线的距离。这里取$(0,-\frac{c}{b})$，$(x,y+\frac{c}{b})$在单位法向量$\frac{1}{\sqrt{a^2+b^2}}(a,b)$上的投影是$\frac{a^{T}b}{||b||}=\frac{1}{\sqrt{a^2+b^2}}\frac{(ax+by+c)}{1}=\frac{|ax+by+c|}{\sqrt{a^2+b^2}}$
• 上面的推导过程可以推广到$n$维空间中，即$x$到$w^{T}x+b=0$的距离是$\frac{|w^{T}x+b|}{||w||}$

硬间隔最大化想要找到几何间隔最大化的超平面：
$$\begin{gathered} ma{x}_{w,b}\gamma \\ s.t.\frac{y_i(w^T{x}_i+b)}{||w||}\ge \gamma ,i=1,2,\dots ,N \end{gathered}$$
考虑几何间隔和函数间隔之间的关系，这个问题可以转化为：
$$\begin{gathered} ma{x}_{w,b}\frac{\hat{\gamma }}{||w||} \\ s.t.y_i(w^T{x}_i+b)\ge \hat{\gamma },i=1,2,\dots ,N \end{gathered}$$
函数间隔$\hat{\gamma }$的取值不影响最优化问题的解，这里固定为$1$，最优化$\frac{1}{||w||}$和最优化$\frac{1}{2}||w|{|}^2$等价，于是得到线性可分支持向量机基本型，这是一个凸二次规划问题：

$$\begin{gathered} ma{x}_{w,b}\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,\dots ,N \end{gathered}$$

《统计学习方法》中提到函数间隔$\hat{\gamma }$的取值不影响最优化问题的解，这里有点模糊

支持向量是训练集中与超平面最近的样本点，它使得约束条件的等号成立。正例支持向量使得$w^T{x}_i+b=+1$，反例支持向量使得$w^T{x}_i+b=-1$，这两个点之间的距离$\frac{2}{||w||}$称为间隔，最优超平面的解只与这些支持向量相关，去掉其他点解不会发生变化，这也可以从西瓜书124页$KKT$条件的解释中得到（${\alpha }_i>0$的那些样本是支持向量），引入拉格朗日乘子之后，原问题转化对偶问题：
$$\begin{gathered} ma{x}_{\alpha }\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0,i=1,2,\dots ,N \end{gathered}$$

通用的二次规划算法求解这个最优化问题时，开销与训练样本数成正比，为了避开这个问题，提出使用$SMO$算法求解最优$alpha$，再用$w=\sum {\alpha }_i{y}_i{x}_i$和$b=\frac{1}{|S|}{\sum }_{s\in S}(y_s-{\sum }_{i\in S}{\alpha }_i{y}_i{x}_i^T{x}_s)$（ S = { i ∣ α i > 0 , i = 1 , 2 , … , N } S=\{i|\alpha_i>0,i=1,2,\dots,N\} S={i∣αi​>0,i=1,2,…,N}，即支持向量的下标集合）得到分类模型$sign(w^{T}x+b)$

当样本中存在一些特异点，去掉这些特异点后剩下的样本大部分是线性可分的，这样的问题是近似可分的问题，为了解决这些问题对每个样本点$(x_i,y_i)$引入松弛变量${\xi }_i$，允许样本点满足更松弛的条件$y_i(w^T{x}_i+b)\ge 1-{\xi }_i$，但同时在优化目标上增加惩罚${\xi }_i$，并有参数$C$调节，线性不可分的线性支持向量机学习问题就转化成了下面的原始问题：
$$\begin{gathered} ma{x}_{w,b}\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i \\ s.t.y_i(w^T{x}_i+b)\ge 1-{\xi }_i,i=1,2,\dots ,N \\ {\xi }_i\ge 0,i=1,2,\dots ,N \end{gathered}$$
同样引入拉格朗日乘子后转化为对偶问题：
$$\begin{gathered} ma{x}_{\alpha }\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C,i=1,2,\dots ,N \end{gathered}$$
支持向量的分析也可以看这里，线性支持向量机的问题还有另一种解释是最小化目标函数：
$$\begin{gathered} \sum _{i=1}^N[1-y_i(w^T{x}_i+b){]}_{+}+\lambda ||w|{|}^2 \\ [z{]}_{+}=max(z,0) \end{gathered}$$
第一项是合页损失函数，是经验损失，第二项是正则化项。合页损失要求函数间隔大于$1$时损失才为$0$，否则损失是$1-y_i(w^T{x}_i+b)$，要求更高。

$SMO$算法每次选择两个${\alpha }_i,{\alpha }_j$来做优化，其他$N-2$个$\alpha$固定（只选择一个${\alpha }_i$，固定其他$N-1$个不可以，因为存在约束条件${\sum }_{i=1}^N{\alpha }_i{y}_i=0$，其他$N-1$个$\alpha$可以导出剩下的一个），整体算法包括选择一个自由变量，再通过约束条件确定另一个，然后通过解析方法求解两个变量的二次规划问题，具体过程可以看这里，《机器学习实战》中简化版没有选择《统计机器学习》中提到的使$|E_1-E_2|$最大的${\alpha }_2$，在完整版中实现了《统计机器学习》提到的第二个变量的选择，以 optStruct 缓存了所有的$E_i$值
当样本在某个空间中可用超曲面正确区分时，可以通过核技巧将原问题中的输入空间上的超曲面转换成特征空间中的超平面问题，使得分类器是的模型变为$f(x)=sign(w^T\varphi (x)+b)$，由于在求解对偶问题时需要计算${\varphi }^T(x)\varphi (z)$，通常很困难，因此为了避开这个障碍，使用核技巧，定义核函数$K(x,z)={\varphi }^T(x)\varphi (z)$，其中$\varphi (x)$就是映射函数，将输入空间映射到特征空间。引入适当核函数就可以学习非线性支持向量机，核函数的选择需要慎重考虑：
$$\begin{gathered} ma{x}_{\alpha }\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j) \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C,i=1,2,\dots ,N \\ f(x)=sign(\sum _{i=1}^N{\alpha }_i{y}_{i}K(x,x_i)+b) \end{gathered}$$

• 输入空间是实际的输入张成的空间，特征空间是模型实际学习所用的数据张成的空间

• 西瓜书中提到"有了$K(x,z)$这样的函数，就不必直接取计算高维甚至无穷维特征空间的内积"不太理解，核函数本身的定义不是也是内积吗

支持向量回归可以看这