周志华机器学习总结第6章

间隔与支持向量

对于存在可以将两类训练样本分开的多个划分超平面，划分超平面距离样本的距离越远，那么这个划分超平面产生的分类结果是最鲁棒的，对未见示例的泛化能力越强。
超平面的表述：
$${\mathbf{\omega }}^T\mathbf{x}+b=0$$
$\mathbf{\omega }$ 为法向量，决定了超平面的方向；$b$ 为位移项，决定了超平面与原点之间的距离。
任意样本点到超平面的距离可写为：
$$r=\frac{|{\mathbf{\omega }}^T\mathbf{x}+b|}{||\omega ||}$$
假设超平面（$\mathbf{\omega }$，$b$）可以将训练样本正确分类，即对于（${\mathbf{x}}_i$，$y_i$）$\in D$，若 $y_i=+1$，则有 ${\mathbf{\omega }}^T\mathbf{x}+b>0$；若 $y_i=-1$，则有${\mathbf{\omega }}^T\mathbf{x}+b<0$。令
$${\mathbf{\omega }}^T{\mathbf{x}}_i+b\ge +1,y_i=+1;$$
$${\mathbf{\omega }}^T{\mathbf{x}}_i+b\le +1,y_i=-1;$$
距离超平面最近的这几个训练样本点使等号成立，被称为“支持向量”（support vector），两个异类支持向量到超平面的距离之和
$$\gamma =\frac{2}{||\omega ||}$$称为“间隔”。
要找到最大间隔的划分超平面
$$\underset{\mathbf{\omega },b}{\max }\frac{2}{||\omega ||}$$
$$\text{s.t.}{y}_i({\mathbf{\omega }}^T{\mathbf{x}}_i+b)\ge 1$$
该问题等价为
$$\underset{\mathbf{\omega },b}{\min }\frac{1}{2}||\mathbf{\omega }|{|}^2$$
$$\text{s.t.}{y}_i({\mathbf{\omega }}^T{\mathbf{x}}_i+b)\ge 1$$

对偶问题

利用拉格朗日乘子法求解对偶问题
$$L(\mathbf{\omega },b,\mathbf{\alpha })=\frac{1}{2}||\mathbf{\omega }|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i({\mathbf{\omega }}^T{\mathbf{x}}_i+b))$$
令 $L$ 对 $\mathbf{\omega }$ 和 $b$ 偏导为0
$$\mathbf{\omega }=\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i$$
$$0=\sum _{I=1}^m{\alpha }_i{y}_i$$
带入原式
$$L=\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{a}_i{a}_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j+\sum _{i=1}^m{\alpha }_i-\sum _{i=1}^m{\alpha }_i{y}_i(\sum _{j=1}^m{\alpha }_j{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j+b)$$$$=\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{a}_i{a}_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j-b\sum _{i=1}^m{\alpha }_i{y}_i$$$$=\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{a}_i{a}_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j$$
$$\text{s.t.}\sum _{i=1}^m{\alpha }_i{y}_i=0$$
对偶问题与原问题解一致需要满足 $KKT$ 条件，即
$${\alpha }_i\ge 0$$$$y_{i}f({\mathbf{x}}_i)-1\ge 0$$$${\alpha }_i(y_{i}f({\mathbf{x}}_i-1)=0$$
由 $KKT$ 条件可以看出，样本必须满足 ${\alpha }_i=0$ 或 $y_{i}f({\mathbf{x}}_i)=1$，若 ${\alpha }_i=0$，那么该样本对结果的求解没有影响；若 $\alpha > 0 $，那么该样本位于最大间隔边界上，是一个支持向量。所以训练完成后大部分样本都不需要保留，最终模型只与支持向量有关。

对偶问题求解

$SMO$ 算法：选取两个变量 ${\alpha }_i$、${\alpha }_j$，使两个变量对应的样本之间的间隔最大；固定 ${\alpha }_i$、${\alpha }_j$ 之外的所有参数，求解对偶问题，获得更新后的 ${\alpha }_i$、${\alpha }_j$。
$\mathbf{\omega }$的确定：
$$\mathbf{\omega }=\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i$$
偏移项 $b$ 的确定：
设 S = { i &ThickSpace; ∣ &ThickSpace; α i &gt; 0 , &ThickSpace; i = 1 , 2 , ⋯ &ThinSpace; , m } S = \{ i\;|\;\alpha_i &gt; 0,\;i = 1, 2, \cdots, m \} S={i∣αi​>0,i=1,2,⋯,m}
$$b=\frac{1}{|S|}\sum _{s\in S}\left(1/y_s-\sum _{i\in S}{\alpha }_i{y}_i{\mathbf{x}}_i^T{\mathbf{x}}_s\right)$$

核函数

对于原本样本空间不可分的分类问题，可将样本映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。
如果原始空间是有限维，即属性数有限，那么一定存在一个高维特征空间使样本可分
划分超平面所对应的模型：
$$f(\mathbf{x})={\mathbf{\omega }}^T\varphi (\mathbf{x})+b$$
原问题转化为：
$$\underset{\mathbf{\omega },b}{\min }\frac{1}{2}||\mathbf{\omega }|{|}^2$$
$$\text{s.t.}{y}_i({\mathbf{\omega }}^T\varphi ({\mathbf{x}}_i)+b)\ge 1$$
对偶问题：
$$\underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{a}_i{a}_j{y}_i{y}_j\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_j)$$
$$\text{s.t.}\sum _{i=1}^m{\alpha }_i{y}_i=0$$
$${\alpha }_i\ge 0$$
由于计算 $\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_j)$ 困难，设
$$\kappa ({\mathbf{x}}_i,{\mathbf{x}}_j)=<\varphi ({\mathbf{x}}_i),\varphi ({\mathbf{x}}_j)>=\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_j)$$
那么对偶问题可重写为
$$\underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{a}_i{a}_j{y}_i{y}_j\kappa ({\mathbf{x}}_i,{\mathbf{x}}_j)$$
$$\text{s.t.}\sum _{i=1}^m{\alpha }_i{y}_i=0$$
$${\alpha }_i\ge 0$$
求解后可以得到
$$f(\mathbf{x})={\mathbf{\omega }}^T\varphi (\mathbf{x})+b=\sum _{i=1}^m{\alpha }_i{y}_i\varphi ({\mathbf{x}}_i{)}^T\varphi (\mathbf{x})+b=\sum _{i=1}^m{\alpha }_i{y}_i\kappa (\mathbf{x},{\mathbf{x}}_{\mathbf{i}})+b$$
核函数的性质：

1. 两个核函数的线性组合为核函数
2. 两个核函数的直积为核函数 ${\kappa }_1\otimes {\kappa }_2(\mathbf{x},\mathbf{z})={\kappa }_1(\mathbf{x},\mathbf{z}){\kappa }_2(\mathbf{x},\mathbf{z})$
3. 若 ${\kappa }_1$ 是核函数，则对于任意函数 $g(\mathbf{x})$，$$\kappa ((\mathbf{x},\mathbf{z})=g(\mathbf{x}){\kappa }_1((\mathbf{x},\mathbf{z})g(\mathbf{z})$$也是核函数

软间隔与正则化

软间隔：允许部分样本不满足约束条件 $y_i({\mathbf{\omega }}^T{\mathbf{x}}_i+b)\ge 1$，因此在最大化间隔的同时，不满足约束条件的样本尽可能的少。
优化目标函数变为
$$\underset{\mathbf{\omega },b}{\min }\frac{1}{2}||\mathbf{\omega }|{|}^2+C\sum _{i=1}^m{\ell }_{0/1}(y_i({\mathbf{\omega }}^T{\mathbf{x}}_i+b)-1)$$
${\ell }_{0/1}$是指若样本不满约束条件时为1，否则为0。通常我们使用数学性质好的（凸的连续函数）来代替 ${\ell }_{0/1}$ 称为“替代损失”（$surrogateloss$）
使用“松弛变量”代替损失函数：
$$\underset{\mathbf{\omega },b}{\min }\frac{1}{2}||\mathbf{\omega }|{|}^2+C\sum _{i=1}^m{\xi }_i$$
$$\text{s.t.}{y}_i({\mathbf{\omega }}^T{\mathbf{x}}_i+b)\ge 1-{\xi }_i$$
$${\xi }_i\ge 0,i=1,2,\cdots ,m$$
这就是“软间隔支持向量机”