统计学习方法第七章——支持向量机

7.1线性可分支持向量机和硬间隔最大化

7.1.1 线性可分支持向量机

给定线性可分训练集，通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为
$$w^{\ast }\cdot x+b^{\ast }=0$$
以及相应的分类决策函数
$$f(X)=sign(w^{\ast }\cdot x+b^{\ast }=0)$$
称为线性可分支持向量机。

7.1.2 函数间隔和几何间隔

首先要知道点到超平面$w\cdot x+b=0$的距离$d=\frac{|w\cdot x+b|}{||w||}$（推导见这里）

函数间隔为：
$${\hat{\gamma }}_i=y_i(w\cdot x_i+b)$$
所有样本点$(x_i,y_i)$的函数间隔之间的最小值，即
$$\hat{\gamma }=\underset{i=1,\cdots ,N}{\min }{\hat{\gamma }}_i$$
函数间隔可以表示分类预测的正确性及确信度。但是选择分离超平面时, 只有函 数间隔还不够。因为只要成比例地改变 $w$ 和 $b$, 例如将它们改为 $2w$ 和 $2b$, 超平面并没有改变，但函数间隔却变成了原来的2倍。${\hat{\gamma }}_i=y_i(2w\cdot x_i+2b)=2y_i(w\cdot x_i+b)$，这一事实启示我们，可以对分离超平面的法向量$w$加某些约束，如规范化，$||w||=1$，这时函数间隔就变成了几何间隔。
$${\gamma }_i=y_i(\frac{w}{||w||}\cdot x_i+\frac{b}{||w||})$$
所有样本点$(x_i,y_i)$的几何间隔的最小值，即
$$\gamma =\underset{i=1,\cdots ,N}{\min }{\gamma }_i$$
当$||w||=1$时，函数间隔和几何间隔相等，如果超平面参数$w$和b成比例地改变（超平面并没有改变），函数间隔也按此比例改变，而几何间隔不变。

7.1.3 间隔最大化

最大间隔分离超平面的存在唯一性，存在性书上证明很容易看懂，下面来证明唯一性。

假设存在两个最优解$(w_1^{\ast },b_1^{\ast })$和$(w_2^{\ast },b_2^{\ast })$。显然$||w_1^{\ast }||=||w_2^{\ast }||=c$，其中c是一个常数。令

$w=\frac{w_1^{\ast }+w_2^{\ast }}{2},b=\frac{b_1^{\ast }+b_2^{\ast }}{2}$, 易知 $(w,b)$ 也是解。
$$c⩽||\frac{w_1^{\ast }+w_2^{\ast }}{2}||⩽\frac{1}{2}||w_1^{\ast }||+\frac{1}{2}||w_2^{\ast }||=c$$
所以$||w||=\frac{1}{2}||w_1^{\ast }||+\frac{1}{2}||w_2^{\ast }||$，因此$w_1^{\ast }=\lambda w_2^{\ast },|\lambda |=1$，若$\lambda =-1，则w=0$不符合题意，所以$w_1^{\ast }=w_2^{\ast }$。下面再证$b_1^{\ast }=b_2^{\ast }$。设 $x_1^{\prime }$ 和 $x_2^{\prime }$ 是集合 { x i ∣ y i = + 1 } \left\{x_{i} \mid y_{i}=+1\right\} {xi​∣yi​=+1} 中分别对应于 $\left(w^{\ast },b_1^{\ast }\right)$ 和 $\left(w^{\ast },b_2^{\ast }\right)$ 使得问题的不等式等号成立的点, $x_1^{\prime \prime }$ 和 $x_2^{\prime \prime }$ 是集合 { x i ∣ y i = − 1 } \left\{x_{i} \mid y_{i}=-1\right\} {xi​∣yi​=−1} 中分别对应于 $\left(w^{\ast },b_1^{\ast }\right)$ 和 $\left(w^{\ast },b_2^{\ast }\right)$ 使得问题的不等式等号成立的点。

7.1.4 学习的对偶算法

下面是对拉格朗日函数的一个补充解释

下面是对(7.28)式的补充解释

7.3 非线形支持向量机和核函数

证明运算*是空间S的内积的补充

7.4 序列最优最小化算法

以下是对${\alpha }_2$的取值范围进行的推导

补充${\alpha }_2^{new}$ 怎么得到 ${\alpha }_1^{new}$

7.4.2 变量的选择

关于SMO算法中第一个变量的选择的KKT条件的补充，可以看这个博客，下面是我自己对博客中的内容进行了优化，建议两个结合起来看。

参考：

• SVM：任意点到超平面的距离公式

• 关于SVM中SMO算法第一个向量选择的问题