SVM支持向量机

目录

-间隔与支持向量
-对偶问题
-核函数
-软间隔与正则化
-支持向量回归
-核方法

间隔与支持向量

$\quad$思想：基于训练集$D=\{(x_1,y_1)，(x_2,y_2)，...，(x_m,y_m)\}$,$y_i \in\{-1,+1\},$在样本空间中找到一个划分超平面，将不同的类别样本分开。因此需要找到合适的超平面使得泛化性能最好。

$\quad$直观上看应该找位于两类训练样本“正中间”的划分超平面，此超平面对训练样本集扰动的容忍性最好，即受影响最小，泛化能力最强。
$\quad$描述：$w^Tx+b=0，其中w=(w_1;w_2;w_3...w_d)$为法向量，决定超平面方向，b为位移项，决定超平面与原点之间的距离。超平面的划分可被法向量w和位移b决定，样本空间中任意一点x到超平面(w,b)的距离可写为：

$$r =\frac {|w_tx+b|}{||w||}$$
$\quad$
最大间隔假设
令
$$\left\{ \begin{array}{c} w^Tx_i +b \ge+1,\text{$y_i=+1$} ;\\ w^Tx_i +b \le-1,\text{$y_i=-1$} . \end{array} \right. ............1$$
则使上式等号成立的样本点被称为“支持向量”，两个异类支持向量到超平面的距离之和为：
$$\upsilon =\frac{2}{||w||}$$ (间隔margin)

优化目标： $\quad$找到参数w和b使得 $\upsilon$最大，即：
$$max_{w,b}\frac{2}{||w||}\\ s. t. \quad y_i(w^Tx_i+b) \ge1,i=1,2,...,m.$$
等价于： $$min_{w,b}\frac{||w||^2}{2}\\ s. t. \quad y_i(w^Tx_i+b) \ge1,i=1,2,...,m；\quad··········2$$
这就是支持向量机(SVM)的基本型。

对偶问题

拉格朗日的对偶问题：
$\quad$2式优化目标可写为：

$$L(w,b,\alpha)=\frac{1}{2}||w||^2+\sum_{i=1}^{m} \alpha_i(1-y_i(w^Tx_i+b))·········3$$
其中 $\alpha =(\alpha_1;\alpha_2;...;\alpha_m).$令 $L(w,b,\alpha)$对w和b的偏导为零得到：
$$w=\sum_{i=1}^{m}\alpha_iy_ix_i,·······4\\0=\sum_{i=1}^{m}\alpha_iy_i，········5$$
将4代入3并考虑5式得到：
$$max_{\alpha} \sum_{i=1}^{m}\alpha_i -\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_i\alpha_jy_iy_jx_i^Tx_j·······6\\ s.t. \quad \sum_{i=1}^{m} \alpha_i y_i=0,\\\alpha_i \ge0,i=1,2,...,m.$$
解出\alpha后，求出w与b即可得到模型： $$f(x) =w^Tx+b\\=\sum_{i=1}^{m}\alpha_iy_ix_i^Tx+b.·······7$$
KTT条件：
$$\left\{ \begin{array}{c} \alpha_i \ge 0,\\ y_if(x_i)-1 \ge0,\\ \alpha_i(y_if(x_i)-1)=0. \end{array} \right. ............8$$
对于任一训练样本，总有 $\alpha_i=0或y_if(x_i)=1.若\alpha_i =0，$则该样本不会再7式求和中出现，也就不会对f(x)有任何影响。若 $\alpha_i>0$，则必有 $y_if(x_i)=1$,所对应的样本点在最大间隔边界上，是一个支持向量.
$\quad$性质：训练完后，大部分训练样本不需要保留，最终模型仅与支持向量有关
SMO算法:
基本思路：先固定 $\alpha_i$之外的所有参数，然后求 $\alpha_i$上的极值。由于存在约束 $\sum_{i=1}^m\alpha_i y_i =0，$若固定 $\alpha_i$之外的其他变量，则 $\alpha_i$可由其他变量导出。于是，SMO每次选择两个变量 $\alpha_i和\alpha_j，$并固定其他参数。这样，在参数初始化后，SMO不断执行如下两个步骤直至收敛：
$\\$
1.选取一对需要更新的变量 $\alpha_i和\alpha_j$；
2.固定 $\alpha_i和\alpha_j$以外的参数，求解式7获得更新后的 $\alpha_i和\alpha_j.$
$\\$
启发式：选取的两变量所对应的样本之间间隔最大。这样的两个变量有很大的差别，与对两个相似的变量进行更新对比，对他们进行更新会带给目标函数函数值更大的变化。
此时式7可以重写为： $$\alpha_iy_i+\alpha_jy_j =c，\alpha_i \ge 0，\alpha_j \ge 0，$$ 其中： $$c=-\sum_{k \neq i,j} \alpha_k y_k$$ ，是使 $\sum_{i=1}{m}\alpha_iy_i =0$ 成立的常数。用 $$\alpha_iy_i +\alpha_jy_j =c$$
消去变量 $\alpha_j$，得到一个关于 $\alpha_i$的单变量二次规划问题，约束 $\alpha_i \ge 0$.可以计算出更新后的 $\alpha_i和\alpha_j。$
偏移项b的确定：对任意支持向量(x_s,y_s)都有y_sf(x_s)=1,即： $$y_s(\sum_{i \in S}\alpha_iy_ix_i^Tx_s +b) =1$$ S为所有支持向量的下标集。通过使用所有支持向量求解的平均值获得更加鲁棒的结果： $$b=\frac{1}{|S|}\sum_{s \in S}(\frac{1}{y_s} -\sum_{i \in S} \alpha_i y_ix_i^Tx_s)$$

核函数

描述：对于非线性可分情况下，讲样本从原始空间映射到更高维的特征空间，使得样本在该特征空间内可分。（如果原始空间有限维，则存在高危特征空间使得样本可分。）

模型表示：$f(X)=w^T\phi(x)+b$···········9，$\phi(x)$为x映射后的特征向量；w和b为模型参数。

优化问题：$min_{w,b} \frac{1}{2}||w||^2， s.t. y_i(w^T \phi(x_i)+b) \ge1, i =1,2,...,m.$

对偶问题：$max_{\alpha} \quad \sum_{i=1}^{m}\alpha_i-\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_i \alpha_jy_iy_j \phi(x_i)^T\phi(x_j)\\s.t. \sum_{i=1}^{m} \alpha_i y_i =0, \alpha_i \ge0,i=1,2,...,m.$

核函数：$\kappa (x_i,x_j)=\langle \phi(x_i),\phi(x_j)\rangle=\phi(x_i)^T\phi(x_j)$
因此：$f(x) =w^T \phi(x)+b =\sum_{i=1}^{m}\alpha_i y_i \phi(x_i)^T \phi(x)+b\\=\sum_{i=1}^{m}\alpha_i y_i\kappa (x_i,x_j)+b········10$

组合函数：
+若$\kappa_1和\kappa_2$为核函数，则对于任意正数$\gamma_1\kappa_1+\gamma_2\kappa_2$也是核函数；
+若$\kappa_1和\kappa_2$为核函数，则核函数的直积$\kappa_1\otimes\kappa_2(x,z) =\kappa_1(x,z)\kappa_2(x,z)$也是核函数；
+若$\kappa_1$为核函数，则对于任意函数g(x),$\kappa(x,z)=g(x)\kappa_1(x,z)g(z)$也是核函数。

软间隔与正则化

硬间隔：所有样本必须划分正确。
软间隔：允许支持向量机在一些样本上不满足约束：$y_i(w^Tx_i+b) \ge1$.

优化目标：$min_{w,b} \frac{1}{2}||w||^2+C\sum_{i=1}^{m} l_{0/1}(y_i(w^Tx_i+b)-1),······ 10$
其中$l_{0/1}$是“0/1损失函数”f(n) =

$$\begin{cases} 1, & \text{$if \quad z \lt 0$ } \\ 0, & \text{otherwise} \end{cases}$$
替代损失（由于 $l_{0/1}$函数非凸、非连续、函数性质不好，因此由一些函数替代 $l_{0/1}$）：
+hinge损失： $l_{hinge}(z)=max(0,1-z)$
+指数损失（exponential loss）： $l_{exp}(z)=exp(-z)$;
+对率损失（logistics loss）： $l_{log}(z)=log(1+exp(-z)).$

hinge损失：采用hinge损失，则10式变为：

$$min_{w,b} \frac{1}{2}||w||^2+C\sum_{i=1}^{m} max(0,1-y_i(w^Tx_i+b))$$ ,
软间隔支持向量机：引入“松弛变量” $\xi_i \ge 0$，可将上式重写为 $$min_{w,b,\xi_i} \frac{1}{2}||w||^2+C\sum_{i=1}^{m}\xi_i·········11\\s.t. y_i(w^Tx_i+b) \ge 1-\xi_i \\ \xi_i \ge 0, i =1,2,...,m.$$ ，这就是常用的“软间隔支持向量机”

拉格朗日函数（软间隔支持向量机条件下）：

$$L(w,b,\alpha,\xi,\mu)=\frac{1}{2}||w||^2+C\sum_{i=1}^{m}\xi_i+\sum_{i=1}^{m}\alpha_i(1-\xi_i-y_i(w^T x_i+b))-\sum_{i=1}^{m}\mu_i\xi_i,$$ 对 $w,b,\xi_i$求偏导，并令其为零得：
$$w=\sum_{i=1}^{m}\alpha_iy_ix_i;\\0=\sum_{i=1}{m}\alpha_iy_i;\\C=\alpha_i+\mu_i·······12$$
对偶问题： $$max_{\alpha} \sum_{i=1}^{m}\alpha_i -\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_i\alpha_jy_iy_jx_i^Tx_j·······13\\ s.t. \quad \sum_{i=1}^{m} \alpha_i y_i=0,\\C \ge \alpha_i \ge0,i=1,2,...,m.$$
KKT条件：
$$\left\{ \begin{array}{c} \alpha_i \ge 0,\mu_i \ge 0,\\ y_if(x_i)-1 + \xi_i \ge0,\\ \alpha_i(y_if(x_i)-1+\xi_i)=0.\\ \xi_i \ge 0, \mu_i\xi_i=0. \end{array} \right. ............14$$

正则问题：$min_f \quad \Omega(f) +C\sum_{i=1}^{m}l(f(x_i),y_i),$
其中$\Omega(f)$ 称为“结构风险”,正则化项，描述模型的某些性质，$C\sum_{i=1}^{m}l(f(x_i),y_i)$为经验风险；用于描述模型与训练数据的契合程度；C正则化常数，用于对二者进行折中，$L_p$范数为常用正则化项，$L_2$倾向于w的分量取值均衡；$L_1和L_0$倾向于w的分量尽量稀疏，非零分量个数尽量少。

支持向量回归

假设：f(x)与y之间的差别绝对值大于$\epsilon$才计算损失，如下图，训练样本落入此间隔带，则被认为预测正确：

SVR问题：$min_{w,b}\frac{1}{2}||w||^2+C\sum_{i=1}^{m}l_{\epsilon}(f(x_i)-y_i),········15$
$\epsilon$-insensitive loss function:

$$l_{\epsilon}(z) = \begin{cases} 0, & \text{if $|z| \le \epsilon$} \\ |z|-\epsilon, & \text{otherwise} \end{cases} ............16$$
引入松弛变量 $\xi_i和\hat \xi_i$则15式变为： $$min_{w,b,\xi_i,\hat \xi_i}\frac{1}{2}||w||^2+C\sum_{i=1}^{m}(\xi_i+\hat \xi_i),\\s.t. f(x_i)-y_i \le \epsilon+\xi_i,\\y_i- f(x_i) \le \epsilon+\hat \xi_i,\\\xi_i \ge 0; \hat \xi_i \ge 0········17$$

拉格朗日函数：
$L(w,b,\alpha,\hat\alpha ,\xi,\hat \xi,\mu ,\hat \mu)\\=\frac{1}{2}||w||^2+C\sum_{i=1}^{m}(\xi_i+\hat \xi_i)-\sum_{i=1}^{m}\hat \mu_i \hat \xi_i -\sum_{i=1}^{m}mu_i \xi_i\\+\sum_{i=1}^{m}\alpha_i(f(x_i)-y_i)-\epsilon-\xi_i)+\sum_{i=1}^{m}\hat \alpha_i(y_i-f(x_i))-\epsilon-\hat \xi_i)$··18
SVR对偶问题：利用拉格朗日乘子法得到SVR对偶问题：

$$max_{\alpha,\hat \alpha} \sum_{i=1}^{m} y_i(\hat \alpha_i -\alpha_i) -\epsilon(\hat \alpha_i +\alpha_i)-\\\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}(\hat \alpha_i -\alpha_i)(\hat \alpha_j -\alpha_j)x_i^Tx_j········19;\\ s.t. \sum_{i=1}^{m}(\hat \alpha_i -\alpha_i)=0;\\0 \le \alpha_i,\hat \alpha_i \ge C.$$
KTT条件：
$$\left\{ \begin{array}{c} \alpha_i(f(x_i)-y_i-\epsilon-\xi_i）=0\\ \hat \alpha_i(y_i-f(x_i)-\epsilon-\hat \xi_i）=0,\\ \alpha_i\hat\alpha_i=0,\xi_i\hat\xi_i=0.\\ (C-\alpha_i)\xi_i=0,(C-\hat\alpha_i)\hat\xi_i=0. \end{array} \right. ............20$$
求解：SVR解形如： $$f(x)=\sum_{i=1}^{m}(\hat \alpha_i-\alpha_i)x^T_i x+b.$$
$$b=y_i+\epsilon-\sum_{j=1}^{m}(\hat \alpha_j-\alpha_j)x^T_j x_i$$
$$考虑特征映射，w=\sum_{i=1}^{m}(\hat \alpha_i-\alpha_i)\phi(x_i)，则SVR表示为：$$
$$f(x) =\sum_{i=1}^{m}(\hat \alpha_i-\alpha_i)\kappa(x,x_i)+b$$ 其中 $\kappa(x_i,x_j)=\phi(x_i,x_j)=\phi(x_i)^T\phi(x_j)$为核函数。