#《机器学习》_周志华(西瓜书)&南瓜书_第6章 支持向量机

待做：

• P134-P139理论部分
• 整理习题，补充

问题：

1、距离计算
2、线性核和高斯核？

---

第6章 支持向量机

6.1 间隔与支持向量

基于训练集$D$在样本空间中找到一个划分超平面。

• 对训练样本局部扰动的容忍性最好。

1、划分超平面： ${\mathbf{w}}^T\mathbf{x}+b=0$
其中 w = { w 1 ; w 2 ; . . . ; w d } \boldsymbol{w}=\left\{w_1;w_2;...;w_d\right\} w={w1​;w2​;...;wd​}为法向量，决定了超平面的方向。
$b$为位移项，决定了超平面与原点之间的距离。
2、样本空间中任意点$\mathbf{x}$到超平面$(\mathbf{w},b)的距离可写为：$
$r=\frac{|{\mathbf{w}}^T\mathbf{x}+b|}{||\mathbf{w}||}$

分类预测：

$\{\begin{array}{rlr}{\mathbf{w}}^T{\mathbf{x}}_i+b>0,& & y_i=+1\\ {\mathbf{w}}^T{\mathbf{x}}_i+b<0,& & y_i=-1\end{array}$

令
$\{\begin{array}{rlr}{\mathbf{w}}^T\mathbf{x}+b⩾+1,& & y_i=+1\\ {\mathbf{w}}^T\mathbf{x}+b⩽-1,& & y_i=-1\end{array}$

？

这个1是怎么选定的呢？

支持向量： 使上式等号成立的训练样本点
间隔： 两个异类支持向量到超平面的距离。
$\gamma =\frac{2}{||\mathbf{w}||}$

最大化间隔，等价于最小化$||\mathbf{w}|{|}^2$

支持向量机(Support Vector Machine)的基本型：
$\underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2$
s.t. $y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)⩾1,i=1,2,,...m.$

6.2 对偶问题

拉格朗日乘子法：
$L(\mathbf{w},b,\mathbf{\alpha })=\frac{1}{2}||\mathbf{w}|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b))$

拉格朗日乘子：$\alpha =({\alpha }_1;{\alpha }_2;...;{\alpha }_m)$
令$L(\mathbf{w},b,\mathbf{\alpha })$对$\mathbf{w}和b$的偏导为0，得
$$\begin{gathered} \mathbf{w}=\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i, \\ 0=\sum _{i=1}^m{\alpha }_i{y}_i \end{gathered}$$

支持向量机基本型的对偶问题：
$\underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j$
s.t. $$\begin{gathered} \sum _{i=1}^m{\alpha }_i{y}_i=0, \\ {\alpha }_i⩾0,i=1,2,...,m \end{gathered}$$

模型：
$$\begin{gathered} f(\mathbf{x})={\mathbf{w}}^T\mathbf{x}+b \\ =\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i^T\mathbf{x}+b \end{gathered}$$

KKT条件(Karush-Kuhn-Tucker)：
$\{\begin{array}{rl}& {\alpha }_i⩾0;\\ & y_{i}f({\mathbf{x}}_i)-1⩾0;\\ & {\alpha }_i(y_{i}f({\mathbf{x}}_i)-1)=0.\end{array}$

对任意训练样本$({\mathbf{x}}_i,y_i)$,总有${\alpha }_i$=0或$y_{i}f({\mathbf{x}}_i)=1$

• 若${\alpha }_i$=0，则该样本不会在模型中出现，即不会对$f(\mathbf{x})$有任何影响。
• 若${\alpha }_i$>0，则必有$y_{i}f({\mathbf{x}}_i)=1$，所对应的样本位于最大间隔边界上，是一个支持向量。

可见，训练完成后，大部分的训练样本都不需要保留，最终模型仅与支持向量有关。

求解对偶问题：

SMO(Sequential Minimal Optimization)：
1、选取一对需要更新的变量${\alpha }_i$和${\alpha }_j$;
2、固定${\alpha }_i$和${\alpha }_j$以外的参数，求解式(6.11)获得更新后的${\alpha }_i$和${\alpha }_j$。
3、不断循坏步骤1和2，直至收敛。

@SMO算法&&对偶问题的相关推导 P125

6.3 核函数

针对非线性可分问题：

• 将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。

用$\varphi (\mathbf{x})$替换$\mathbf{x}$

令$\varphi (\mathbf{x})表示将\mathbf{x}映射后的特征向量。$
对应的模型：
$$f(\mathbf{x})={\mathbf{w}}^T\varphi (\mathbf{x})+b$$

对应的支持向量机(Support Vector Machine)的基本型：
$\underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2$
s.t. $y_i({\mathbf{w}}^T\varphi ({\mathbf{x}}_i)+b)⩾1,i=1,2,,...m.$

对应的对偶问题：
$\underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_j)$
s.t. $$\begin{gathered} \sum _{i=1}^m{\alpha }_i{y}_i=0, \\ {\alpha }_i⩾0,i=1,2,...,m \end{gathered}$$

@核函数引入 推导 P127

核函数： 对称函数所对应的核矩阵半正定。

核函数选择

线性组合：

6.4 软间隔与正则化

不好断定这个线性可分的结果是不是过拟合造成的。

软间隔（soft margin)： 允许某些样本不满足约束。
硬间隔(hard margin)： 所有样本都必须划分正确。

优化目标：
$$\underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^m{\ell }_{0/1}(y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1)$$
其中$C>0$为常数，${\ell }_{0/1}$是“0/1损失函数”
${\ell }_{0/1}=\{\begin{array}{rlr}1,& & ifz<0;\\ 0,& & otherwise.\end{array}$

${\ell }_{0/1}$非凸、非连续，数学性质不太好。

采用hinge损失：

采用hinge损失的优化目标：
$$\underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^m\max (0,1-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b))$$

引入松弛变量${\xi }_i⩾0$,
软间隔支持向量机：
$$\underset{\mathbf{w},b,{\xi }_i}{\min }\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^m{\xi }_i$$
s.t. $y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)⩾1-{\xi }_i$
${\xi }_i⩾0,i=1,2,...,m.$

松弛变量: 表征样本不满足约束的程度。

拉格朗日函数
$L(\mathbf{w},b,\mathbf{\alpha },\xi ,\mu )=\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^m{\xi }_i+\sum _{i=1}^m{\alpha }_i(1-{\xi }_i-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b))-\sum _{i=1}^m{\mu }_i{\xi }_i$
其中拉格朗日乘子：${\alpha }_i⩾0,{\mu }_i⩾0$
令$L(\mathbf{w},b,\mathbf{\alpha },\xi ,\mu )$对$\mathbf{w},b,{\xi }_i$的偏导为0，得
$$\begin{gathered} \mathbf{w}=\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i, \\ 0=\sum _{i=1}^m{\alpha }_i{y}_i \\ C={\alpha }_i+{\mu }_i \end{gathered}$$

得到的对偶问题：
$\underset{\mathbf{\alpha }}{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j$
s.t. $$\begin{gathered} \sum _{i=1}^m{\alpha }_i{y}_i=0, \\ 0⩽{\alpha }_i⩽C,i=1,2,...,m \end{gathered}$$ （只有这里有区别）

软硬间隔的差别在于对对偶变量的约束不同：

• 软间隔 $0⩽{\alpha }_i⩽C$
• 硬间隔$0⩽{\alpha }_i$

软间隔支持向量机的KKT条件：
$\{\begin{array}{rl}& {\alpha }_i⩾0,{\mu }_i⩾0,\\ & y_{i}f({\mathbf{x}}_i)-1+{\xi }_i⩾0;\\ & {\alpha }_i(y_{i}f({\mathbf{x}}_i)-1+{\xi }_i)=0,\\ & {\xi }_i⩾0,{\mu }_i{\xi }_i=0.\end{array}$

对任意训练样本$({\mathbf{x}}_i,y_i)$，总有${\alpha }_i=0或y_{i}f({\mathbf{x}}_i)=1-{\xi }_i$。
1、若${\alpha }_i=0$，则样本不会对$f(\mathbf{x})$有影响。
2、若${\alpha }_i>0$，则必有$y_{i}f({\mathbf{x}}_i)=1-{\xi }_i$,该样本是支持向量。
3、若${\alpha }_i<C$,则${\mu }_i>0$，进而有${\xi }_i=0$,该样本在最大间隔边界上。
4、若${\alpha }_i=C$,则${\mu }_i=0$

• 若${\xi }_i⩽1$,样本落在最大间隔内部
• 若${\xi }_i>1$,样本被错误分类

hinge损失函数保持了稀疏性。

支持向量机 VS 对率回归

支持向量机 VS 对率回归
1、性能相当
2、对率回归在给出预测标记的同时也给出了概率；对率回归能直接用于多分类任务。
3、hinge损失有一块平坦的零区域，使得支持向量机的解具有稀疏性，而对率损失是光滑的单调递减函数，无类似概念。

• 对率回归的解依赖于更多的训练样本，其预测开销更大。

第一项描述划分超平面的间隔大小
第二项表述训练集上的误差，用于描述模型与训练数据的契合程度。

$L_2范数$和$L_1范数$

$L_2范数$倾向于$\mathbf{w}$的分量取值尽量均衡，即非零向量的个数尽量稠密。

• 含0少，稠密，L2

$L_0范数$和$L_1范数$倾向于$\mathbf{w}$的分量取值尽量稀疏，即非零向量的个数尽量少。

• 含0多，稀疏，L1，L0

正则化： 罚函数法

6.5 支持向量回归(SVR)

问题：
给定训练样本 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } , y i ∈ R D=\left\{(\boldsymbol{x}_1,y_1),(\boldsymbol{x}_2,y_2),...,(\boldsymbol{x}_m,y_m)\right\}, y_i\in \mathbb{R} D={(x1​,y1​),(x2​,y2​),...,(xm​,ym​)},yi​∈R,学习一个回归模型，使得$f(\mathbf{x})与y$尽可能接近，$\mathbf{w}和b$是待确定的参数。

SVR问题的优化目标：
$$\underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^m{\ell }_{ϵ}(f({\mathbf{x}}_i)-y_i)$$
其中$C$为正则化常数，${\ell }_{ϵ}$是$ϵ-$不敏感损失函数
${\ell }_{ϵ}(z)=\{\begin{array}{rlr}0,& & if|z|⩽ϵ;\\ z-ϵ,& & otherwise.\end{array}$

引入松弛变量${\xi }_i和\widehat{{\xi }_i}$,
优化目标变成：
$$\underset{\mathbf{w},b,{\xi }_i,\widehat{{\xi }_i}}{\min }\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^m({\xi }_i,\widehat{{\xi }_i})$$
s.t. $f({\mathbf{x}}_i)-y_i⩽ϵ+{\xi }_i$
$y_i-f({\mathbf{x}}_i)⩽ϵ+\widehat{{\xi }_i}$
${\xi }_i⩾0,\widehat{{\xi }_i}⩾0,i=1,2,...,m.$

@拉格朗日函数

@对偶问题

核方法

---

6.7
线性核SVM， 文本分类， 1998

习题

6.1

6.1 试证明样本空间中任意点$\mathbf{x}$到超平面$(\mathbf{w},b)$的距离为式 (6.2)。

对于超平面$(\mathbf{w},b)$,有${\mathbf{w}}^T{\mathbf{x}}_0+b=0$ ,则$-{\mathbf{w}}^T{\mathbf{x}}_0=b$

• ${\mathbf{x}}_0$是为了和 $\mathbf{x}$作区分，表示超平面上的任意点。

样本空间中任意点$\mathbf{x}$到超平面$(\mathbf{w},b)$的距离为 点$\mathbf{x}$与点${\mathbf{x}}_0$之间的向量$\mathbf{x}-{\mathbf{x}}_0$在超平面的法向量$\mathbf{w}$上的投影，根据投影计算公式，
$r=\frac{|{\mathbf{w}}^T(\mathbf{x}-{\mathbf{x}}_0)|}{||\mathbf{w}||}=\frac{|{\mathbf{w}}^T\mathbf{x}+b|}{||\mathbf{w}||}$

6.2

6.2 试使用 LIBSVM，在西瓜数据集 3.0α 上分别用线性核和高斯核训练一个 SVM，并比较其支持向量的差别.
参考1

6.3

6.3 选择两个 UCI 数据集，分别用线性核和高斯核训练一个 SVM ，并与BP 神经网络和 C4.5 决策树进行实验比较.

6.4

6.4 试讨论线性判别分析与线性核支持向量机在何种条件 等价.

6.5

6.5 试述高斯核 SVM与RBF 神经网络之间的联系.

6.6

6.6 试析 SVM 对噪声敏感的原因.

6.7

6.7 试给出式(6.52) 的完整 KKT 条件.

6.8

6.8 以西瓜数据集 3.0α 的"密度"为输入"含糖率"为输出，试使用LIBSVM 训练一个 SVR

6.9

6.9 试使用核技巧推广对率回归?产生"核对率回归"

6.10

6.10 试设计一个能显著减少 SVM 中支持向量的数目而不显著降低泛化性能的方法.

LaTeX字符

LaTeX字符链接https://blog.csdn.net/weixin_42612337/article/details/103037333

大括号

$\left\{ \begin{aligned} 
\boldsymbol{w}^T\boldsymbol{x}+b \geqslant +1,& & y_i=+1\\ 
\boldsymbol{w}^T\boldsymbol{x}+b \leqslant -1,& & y_i=-1 \\ 
\end{aligned} \right.$

$\ell$的打法

$\ell$

空格