统计学习方法第7章支持向量机

支持向量机SVM是一种二分类模型。
支持向量机的学习策略就是间隔最大化，可形式化为求解一个凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。

函数间隔与几何间隔

一个点距离分离超平面$w\ast x+b=0$的远近|wx+b|可以表示分类预测{+1，-1}的确信程度。而wx+b的符号与类别标记y的符号是否一致能够表示分类是否正确。所以可用量y(w*x+b)来表示分类的正确性即确信度，这就是函数间隔。
定义：对于给定的训练数据集T和超平面(w,b)，定义超平面（w，b）关于样本点$(x_i,y_i)$的函数间隔为${\hat{\gamma }}_i=y_i(w\ast x_i+b)$
定于超平面关于训练数据集的函数间隔为超平面关于T中所有样本点的函数间隔的最小值，即$\hat{\gamma }=mi{n}_{i=1,\dots ,N}{\hat{\gamma }}_i$
函数间隔可以表示分类预测的正确性及确信度。但是成比例的改变w和b，超平面不变，但是函数间隔却会成比例的改变。所以要对超平面的法向量加以约束，如规范化，||w||=1，使得间隔是确定的。这时函数间隔成为几何间隔。
定义：${\hat{\gamma }}_i=y_i(\frac{w}{||w||}\ast x_i+\frac{b}{||w||})$,其中||w||为w的$L_2$范数。$\gamma =mi{n}_{i=1,\dots ,N}{\gamma }_i$
如果||w||=1，这函数间隔和几何间隔相等。如果超平面参数w和b成比例的改变（超平面没有改变），函数间隔也按此比例改变，而几何间隔不变。几何间隔最大的分离超平面是惟一的。（不同于感知机，线性可分离的超平面，有多个解）

间隔最大化

算法：线性可分支持向量机学习算法——最大间隔法
输入：线性可分训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x N , y N ) } , 其 中 x i ∈ X = R n , y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , … , N T=\{(x_1,y_1),(x_2,y_2),\dots,(x_N,y_N)\},其中x_i\in X=R^n,y_i\in Y=\{-1,+1\},i=1,2,\dots,N T={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)},其中xi​∈X=Rn,yi​∈Y={−1,+1},i=1,2,…,N
输出：最大间隔分离超平面和分类决策函数
（1）构造并求解约束最优化问题：
$mi{n}_{w,b}\frac{1}{2}||w|{|}^2$
$s.t.y_i(w\ast x_i+b)-1\ge 0,i=1,2,\dots ,N$
求解得最优解$w^{\ast },b^{\ast }$
（2）由此得分离超平面：$w^{\ast }\ast x+b^{\ast }=0$
分类决策函数$f(x)=sign(w^{\ast }\ast x+b)$

对偶问题

首先构造拉格朗日函数，引进拉格朗日乘子${\alpha }_i\ge 0,i=1,2,\dots ,N$,定义拉格朗日函数
$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2-{\sum }_{i=1}^N{\alpha }_i{y}_i(w\ast x_i+b)+{\sum }_{i=1}^N{\alpha }_i$
其中$\alpha =({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_N{)}^T$为拉格朗日乘子向量。
根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题$ma{x}_{\alpha }mi{n}_{w,b}L(w,b,\alpha )$

算法：线性可分支持向量机学习算法

输入：线性可分训练集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x N , y N ) } , 其 中 x i ∈ X = R n , y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , … , N T=\{(x_1,y_1),(x_2,y_2),\dots,(x_N,y_N)\},其中x_i\in X=R^n,y_i\in Y=\{-1,+1\},i=1,2,\dots,N T={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)},其中xi​∈X=Rn,yi​∈Y={−1,+1},i=1,2,…,N
输出：分离超平面和分类决策函数
（1）构造并求解约束最优化问题
$mi{n}_{\alpha }\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\ast x_j)-{\sum }_{i=1}^N{\alpha }_i$
$s.t.{\sum }_{i=1}^N{\alpha }_i{y}_i=0$
${\alpha }_i\ge 0,i=1,2,\dots ,N$
求得最优解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\dots ,{\alpha }_N^{\ast }{)}^T$
（2）计算$w^{\ast }={\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$
并选择${\alpha }^{\ast }$的一个正分量${\alpha }_j^{\ast }>0$，计算$b^{\ast }=y_j-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\ast x_j)$
（3）求得分离超平面$w^{\ast }\ast x+b^{\ast }=0$
分类决策函数：$f(x)=sign(w^{\ast }\ast x+b^{\ast })$
$w^{\ast },b^{\ast }$只以来与训练数据中对应于${\alpha }_i^{\ast }>0$的样本点$(x_i,y_i)$,而其他样本点对$w^{\ast },b^{\ast }$没有影响。训练数据中对应于${\alpha }_i^{\ast }>0$的实例点$x_i\in R^n$称为支持向量。支持向量一定在间隔边界上。

线性支持向量机与软间隔最大化

对于线性不可分的数据，引入一个松弛变量，凸二次规划问题(原始问题)。
$mi{n}_{w,b,\xi }\frac{1}{2}||w|{|}^2+C{\sum }_{i=1}^N{\xi }_i$
$s.t.y_i(w\ast x_i+b)\ge 1-{\xi }_i,i=1,2,\dots ,N$
${\xi }_i\ge 0,i=,2,\dots ,N$
w的解释唯一的，但是b的解不是唯一的，而是存在一个区间。
解为$w\ast ,b^{\ast }$,分离超平面为$w^{\ast }\ast x+b^{\ast }=0$,分类决策函数$f(x)=sign(w^{\ast }\ast x+b^{\ast })$

对偶问题

$mi{n}_{\alpha }\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\ast x_j)-{\sum }_{i=1}^N{\alpha }_i$
$s.t.{\sum }_{i=1}^N{\alpha }_i{y}_i=0$
$0\le {\alpha }_i\le C,i=1,2,\dots ,N$
构造拉格朗日函数求解（极大极小问题）

算法：线性支持向量机学习算法

输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x N , y N ) } , 其 中 x i ∈ X = R n , y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , … , N T=\{(x_1,y_1),(x_2,y_2),\dots,(x_N,y_N)\},其中x_i\in X=R^n,y_i\in Y=\{-1,+1\},i=1,2,\dots,N T={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)},其中xi​∈X=Rn,yi​∈Y={−1,+1},i=1,2,…,N
输出：分离超平面和分类决策函数
（1）选择乘法参数$C>0$，构造并求解凸二次规划问题。
$mi{n}_{\alpha }\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\ast x_j)-{\sum }_{i=1}^N{\alpha }_i$
$s.t.{\sum }_{i=1}^N{\alpha }_i{y}_i=0$
$0\le {\alpha }_i\le 0,i=1,2,\dots ,N$
求得最优解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\dots ,{\alpha }_N^{\ast }{)}^T$
（2）计算$w^{\ast }={\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$
选择${\alpha }^{\ast }$的一个分量${\alpha }_j^{\ast }$适合条件 $0<{\alpha }_j^{\ast }<C$,计算 $b^{\ast }=y_j-{\sum }_{i=1}^N{y}_i{\alpha }_i^{\ast }(x_i\ast x_j)$
（3）求得分离超平面$w^{\ast }\ast x+b^{\ast }=0$
分类决策函数$f(x)=sign(w^{\ast }\ast x+b^{\ast })$

支持向量

软间隔的支持向量$x_i$或者在间隔边界上，或者在间隔辩解与分离超平面之间，或者在分离超平面误分一侧。

合页损失函数

最小化以下目标函数
${\sum }_{i=1}^N[1-y_i(w\ast x_i+b{]}_{+}+\lambda ||w|{|}^2$
目标函数的第一项是经验风险或者经验损失。
$L(y(w\ast x+b))=[1-y(w\ast x+b){]}_{+}$称为合页损失函数。下标‘+’表示以下取正值的函数
$$[z{]}_{+}=\{\begin{array}{r}z,z>0\\ 0,z\le 0\end{array}$$
也就是说,当样本点$(x_i,y_i)$被正确分类且函数间隔（确信度）$y_i(w\ast x_i+b)$大于1时，损失是0.否则损失是$1-y_i(w\ast x_i+b)$
则线性支持向量机原始最优化问题等价于最优化问题
$$mi{n}_{w,b}\sum _{i=1}^N[1-y_i(w\ast x_i+b){]}_{+}+\lambda ||w|{|}^2$$