SVM2

3 线性支持向量机与软间隔最大化

一个特征空间上的数据集：

• T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中 x i ∈ X = R n , y i ∈ Y = { + 1 , − 1 } x_{i} \in \mathcal{X}=\mathbf{R}^{n},y_{i} \in \mathcal{Y}=\{+1,-1\} xi​∈X=Rn,yi​∈Y={+1,−1}，$i=1,2,\cdots ,N$，$x_i$是第$i$个特征向量，也称为实例，$y_i$为$x_i$的类别标记

• $(x_i,y_i)$为样本点，当$y=+1$时，称$x_i$为正例；当$y=-1$时，称$x_i$为正例

• 假设数据集是线性不可分的，训练数据集中存在一些特异点

线性不可分：

• 对于某些点不满足约束条件：$y_i\left(w\cdot x_i+b\right)-1⩾0,i=1,2,\cdots ,N$

• 对于每个样本点引入松弛变量${\xi }_i⩾0$，约束条件变为：$y_i\left(w\cdot x_i+b\right)⩾1-{\xi }_i$

• 目标函数：$\frac{1}{2}\Vert w{\Vert }^2+C{\sum }_{i=1}^N{\xi }_i$，$C>0$为惩罚参数

• 原始最优化问题为凸二次规划问题：
  $$\begin{array}{ll}{\min }_{w,b,\xi }& \frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i\\ \text{ s.t. }& y_i\left(w\cdot x_i+b\right)⩾1-{\xi }_i,i=1,2,\cdots ,N\\ & {\xi }_i⩾0,i=1,2,\cdots ,N\end{array}$$

• 可以证明$w$的解是唯一的，但**$b$的解可能不是唯一的，而是存在于一个区间内**

学习的对偶算法：

原始问题的拉格朗日函数为：
$$\begin{gathered} L(w,b,\xi ,\alpha ,\mu )\equiv \frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i\left(y_i\left(w\cdot x_i+b\right)-1+{\xi }_i\right)-\sum _{i=1}^N{\mu }_i{\xi }_i \\ {\alpha }_i⩾0,{\mu }_i⩾0 \end{gathered}$$
对偶问题是拉格朗日函数的极大极小问题，$L(w,b,\xi ,\alpha ,\mu )$对$w,b,\xi$求导得：
$$\begin{gathered} {\nabla }_{w}L(w,b,\xi ,\alpha ,\mu )=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0 \\ {\nabla }_{b}L(w,b,\xi ,\alpha ,\mu )=-\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ {\nabla }_{{\xi }_i}L(w,b,\xi ,\alpha ,\mu )=C-{\alpha }_i-{\mu }_i=0 \end{gathered}$$
解得：
$$\begin{gathered} w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i \\ \sum _{i=1}^N{\alpha }_i{y}_i=0 \\ C-{\alpha }_i-{\mu }_i=0 \end{gathered}$$
代入$L(w,b,\xi ,\alpha ,\mu )$得：
$$\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i$$
对上式求极大得对偶问题：
$$\begin{gathered} \underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i \\ \begin{array}{ll}\text{ s.t. }& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & C-{\alpha }_i-{\mu }_i=0\\ & {\alpha }_i⩾0\\ & {\mu }_i⩾0,i=1,2,\cdots ,N\end{array} \end{gathered}$$
进一步得：
$$\begin{array}{ll}{\min }_{\alpha }& \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i\\ \text{ s.t. }& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & 0⩽{\alpha }_i⩽C,i=1,2,\cdots ,N\end{array}$$
求解对偶问题：

设${\alpha }^{\ast }={\left({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }\right)}^{\mathrm{T}}$是对偶问题的一个解，若存在${\alpha }^{\ast }$的一个分量${\alpha }_j$，$0<{\alpha }_j^{\ast }<C$，则原始问题的解$w^{\ast },b^{\ast }$可按下式求得：
$$\begin{gathered} w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i \\ {b}^{\ast }=y_j-\sum _{i=1}^N{y}_i{\alpha }_i^{\ast }\left(x_i\cdot x_j\right) \end{gathered}$$
由此得分离超平面为：
$$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\left(x\cdot x_i\right)+b^{\ast }=0$$
分类决策函数：
$$f(x)=\mathrm{sign}\left(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\left(x\cdot x_i\right)+b^{\ast }\right)$$
支持向量：

训练数据集中对应于${\alpha }_i^{\ast }>0$的样本点$\left(x_i,y_i\right)$的实例点$x_i\in {\mathbf{R}}^n$称为支持向量，实例点$x_i$到分类间隔的距离为$\frac{{\xi }_i}{\Vert w\Vert }$

• ${\alpha }_i^{\ast }<C$，则${\xi }_i=0$，支持向量$x_i$恰好在间隔边界上
• ${\alpha }_i^{\ast }=C,0<{\xi }_i<1$，分类正确，支持向量$x_i$在间隔边界和分类超平面之间
• ${\alpha }_i^{\ast }=C,{\xi }_i=1$，支持向量$x_i$在分类超平面上
• ${\alpha }_i^{\ast }=C,{\xi }_i>1$，分类错误，支持向量$x_i$在分类超平面误分一侧

合页损失函数：

线性支持向量机的原始最优化问题
$$\begin{array}{ll}{\min }_{w,b,\xi }& \frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i\\ \text{ s.t. }& y_i\left(w\cdot x_i+b\right)⩾1-{\xi }_i,i=1,2,\cdots ,N\\ & {\xi }_i⩾0,i=1,2,\cdots ,N\end{array}$$
等价于最优化问题：
$$\underset{w,b}{\min }\sum _{i=1}^N{\left[1-y_i\left(w\cdot x_i+b\right)\right]}_{+}+\lambda \Vert w{\Vert }^2$$
$y_i\left(w\cdot x_i+b\right)$是函数间隔（确信度），$\lambda$是$w$的$L_2$范数

函数$L(y(w\cdot x+b))=[1-y(w\cdot x+b){]}_{+}$为合页损失函数，下标“+”表示取正值的函数：
$$[z{]}_{+}=\{\begin{array}{ll}z,& z>0\\ 0,& z⩽0\end{array}$$
合页损失函数的图形为：

合页损失函数对$y_i\left(w\cdot x_i+b\right)$的要求更高，不仅要分类正确