SVM原理详解

1.数学基础

(1)定义一个平面 $w\bullet x+b=0$

由向量垂直得：$w\bullet (x-x_0)=0$
设 $b=-w\bullet x_0$，则
$w\bullet x+b=0$

(2)求解平行平面之间的距离D

所求距离:$D=||tw||=|t|\bullet ||w||$
以$x_1、x_2$的交点为坐标原点，$x_1、x_2$确定的平面建立坐标系，知
$w\bullet x_2+b_2=0$
$w\bullet x_1+b_1=0$
又 $x_2=x_1+tw$
综上，可得 $t=\frac{b_1-b_2}{||w|{|}^2}$

故$D=\frac{|b_1-b_2|}{||w||}$

2.SVM(样本线性可分）

(1) 确定样本分割平面

步骤：

• 对于正、负样本，可以确定虚线所示的平行分割平面，方程分别为：
  $w\bullet x+b_1=0$ 及 $w\bullet x+b_2=0$
• 调整$w$的大小，使得$b_2-b_1=2$
• 设$b=\frac{b_1+b_2}{2}$，则$b_1=b-1,b_2=b+1$
• 代入方程，得
  $w\bullet x+b=1$
  $w\bullet x+b=-1$
  

（2）确定最优化目标及约束条件

• 最优化目标（间距最大）
  i. 根据平面间距离计算公式：$D=\frac{|b_1-b_2|}{||w||}=\frac{2}{||w||}$
  ii. 最大化$D$，等价于最小化$\frac{||w|{|}^2}{2}$
• 约束条件（保证正确分类）
  i. 对于正负样本，有
  $w\bullet x_i+b\ge 1$ $if{y}_i=1$
  $w\bullet x_i+b\le -1$ $if{y}_i=-1$
  ii. 综上，可得
  $y_i(w\bullet x_i+b)\ge 1$
  \quad 即
  $y_i(w^T{x}_i+b)\ge 1$
  

（3）原问题转化为对偶问题进行求解

• 构造拉格朗日乘子
  $L(w,b,\lambda )=\frac{||w|{|}^2}{2}-\sum _{i=1}^n{\lambda }_i[y_i(w^T{x}_i+b)-1]$

• 将原问题转化为对偶问题
  $\underset{w,b}{\min }\underset{\lambda }{\max }L(w,b,\lambda )⟺\underset{\lambda }{\max }\underset{w,b}{\min }L(w,b,\lambda )$

• 根据KKT条件(求解极小值点)
  ${\nabla }_{w,b}L(w,b,\lambda )=0$
  $\iff \frac{\partial L}{\partial w}=\frac{\partial L}{\partial b}=0$

  分别求导，得: $w=\sum _{i=1}^n{\lambda }_i{y}_i{x}_i,\sum _{i=1}^n{\lambda }_i{y}_i=0$

• 代入拉格朗日乘子式，并化简（求解极大值）
  $L(w,b,\lambda )=\frac{w^{T}w}{2}-w^T\sum _{i=1}^n{\lambda }_i{y}_i{x}_i-b\sum _{i=1}^n{\lambda }_i{y}_i+\sum _{i=1}^n{\lambda }_i$

$=\sum _{i=1}^n{\lambda }_i-\frac{1}{2}(\sum _{i=1}^n{\lambda }_i{y}_i{x}_i{)}^T\sum _{i=1}^n{\lambda }_i{y}_i{x}_i$

$=\sum _{i=1}^n{\lambda }_i-\frac{1}{2}\sum _{i,j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j$

  \qquad\, 此时，需要求解$L(w,b,\lambda )$关于$\lambda$的极大值
  \qquad\, 即，求解$-L(w,b,\lambda )$关于$\lambda$的极小值

• 对偶问题重新定义（求解${\lambda }_i^{\ast }$）
  最小化目标： $-L(w,b,\lambda )=\frac{1}{2}\sum _{i,j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^n{\lambda }_i$
  约束条件：${\lambda }_i\ge 0,i=1\dots \dots n$ （KKT条件）
  $\sum _{i=1}^n{\lambda }_i{y}_i=0$ （求导所得）
• 求解$w^{\ast },b^{\ast },y$
  $w^{\ast }=\sum _{i=1}^n{\lambda }_i^{\ast }{y}_i{x}_i$

     \quad\;\; 根据正、负样本分割平面方程知
$min(w^T{x}_i+b)=1$ $if{y}_i=1$
$max(w^T{x}_i+b)=-1$ $if{y}_i=-1$
\qquad 故， $b^{\ast }=-\frac{1}{2}[\underset{y_i=-1}{\max }((w^{\ast }{)}^T{x}_i)+\underset{y_i=1}{\min }((w^{\ast }{)}^T{x}_i)]$

$y=sign((w^{\ast }{)}^{T}x+b^{\ast })$
$=sign(\sum _{i=1}^n{\lambda }_i^{\ast }{y}_i{x}_i^{T}x+b^{\ast })$

3.SVM(样本线性不可分）

(1) 引入松弛系数$\xi (\xi >0)$

（2）确定最优化目标及约束条件

• 最优化目标（间距最大）
  最小化$\frac{||w|{|}^2}{2}+C\sum _{i=1}^n{\xi }_i(C>0)$
• 约束条件（保证正确分类）
  i. 基本条件：${\xi }_i\ge 0$
  ii. 对于正负样本，有
  $w\bullet x_i+b\ge 1-{\xi }_i$ $if{y}_i=1$
  $w\bullet x_i+b\le -1+{\xi }_i$ $if{y}_i=-1$
  iii. 综上，可得
  $y_i(w\bullet x_i+b)\ge 1-{\xi }_i$
  \quad 即
  $y_i(w^T{x}_i+b)\ge 1-{\xi }_i$

（3）原问题转化为对偶问题进行求解

• 构造拉格朗日乘子
  $L(w,b,\xi ,\lambda ,\mu )=\frac{||w|{|}^2}{2}+C\sum _{i=1}^n{\xi }_i-\sum _{i=1}^n{\lambda }_i[y_i(w^T{x}_i+b)-1+{\xi }_i]-\sum _{i=1}^n{\mu }_i{\xi }_i$
• 将原问题转化为对偶问题
  $\underset{w,b,\xi }{\min }\underset{\lambda ,\mu }{\max }L(w,b,\xi ,\lambda ,\mu )⟺\underset{\lambda ,\mu }{\max }\underset{w,b,\xi }{\min }L(w,b,\xi ,\lambda ,\mu )$
• 根据KKT条件(求解极小值点)
  ${\nabla }_{w,b,\xi }L(w,b,\xi ,\lambda ,\mu )=0$
  $\iff \frac{\partial L}{\partial w}=\frac{\partial L}{\partial b}=\frac{\partial L}{\partial \xi }=0$
  分别求导，得: $w=\sum _{i=1}^n{\lambda }_i{y}_i{x}_i,\sum _{i=1}^n{\lambda }_i{y}_i=0,C-{\lambda }_i-{\mu }_i=0$
• 代入拉格朗日乘子式，并化简（求解极大值）
  $L(w,b,\xi ,\lambda ,\mu )=\frac{w^{T}w}{2}+C\sum _{i=1}^n{\xi }_i-w^T\sum _{i=1}^n{\lambda }_i{y}_i{x}_i-b\sum _{i=1}^n{\lambda }_i{y}_i+\sum _{i=1}^n{\lambda }_i(1-{\xi }_i)-\sum _{i=1}^n{\mu }_i{\xi }_i$

$=\sum _{i=1}^n{\xi }_i(C-{\mu }_i)+\sum _{i=1}^n{\lambda }_i(1-{\xi }_i)-\frac{1}{2}(\sum _{i=1}^n{\lambda }_i{y}_i{x}_i{)}^T\sum _{i=1}^n{\lambda }_i{y}_i{x}_i$

$=\sum _{i=1}^n{\lambda }_i-\frac{1}{2}\sum _{i,j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j$
  \qquad\, 此时，需要求解$L(w,b,\xi ,\lambda ,\mu )$关于$\lambda ,\mu$的极大值
  \qquad\, 即，求解$-L(w,b,\xi ,\lambda ,\mu )$关于$\lambda ,\mu$的极小值

• 对偶问题重新定义（求解${\lambda }_i^{\ast }$）
  最小化目标： $-L(w,b,\xi ,\lambda ,\mu )=\frac{1}{2}\sum _{i,j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^n{\lambda }_i$
  约束条件：${\lambda }_i\ge 0,i=1\dots \dots n$ KKT条件
  ${\mu }_i\ge 0,i=1\dots \dots n$ KKT条件（1）
  $C-{\lambda }_i-{\mu }_i=0$ 求导结果（2）
  ${\lambda }_i\le C,i=1\dots \dots n$ 由（1）、（2）推出
  $\sum _{i=1}^n{\lambda }_i{y}_i=0$ 求导结果
• 求解$w^{\ast },b^{\ast },y$
  $w^{\ast }=\sum _{i=1}^n{\lambda }_i^{\ast }{y}_i{x}_i$

     \quad\;\; 根据正、负样本分割平面方程知
$min(w^T{x}_i+b)=1-{\xi }_i$ $if{y}_i=1$
$max(w^T{x}_i+b)=-1+{\xi }_i$ $if{y}_i=-1$
     \quad\;\; 故，
$b^{\ast }=-\frac{1}{2}[\underset{y_i=-1}{\max }((w^{\ast }{)}^T{x}_i)+\underset{y_i=1}{\min }((w^{\ast }{)}^T{x}_i)]$

$y=sign((w^{\ast }{)}^{T}x+b^{\ast })$
$=sign(\sum _{i=1}^n{\lambda }_i^{\ast }{y}_i{x}_i^{T}x+b^{\ast })$

4.核函数

• 定义：

  将特征向量$x$提升维度，转变为$\varphi (x)$后，执行的内积运算
  $K(x_i,x_j)=\varphi (x_i{)}^T\varphi (x_j)$

• 分类及对比：

名称	公式	优点	缺点
线性函数	$K(x_i,x_j)=x_i^T{x}_j$	形式简单、运算效率高、解释性强	无法处理线性不可分问题
多项式核函数	$K(x_i,x_j)=(\gamma x_i^T{x}_j+c{)}^n$	拟合能力强	参数太多、$n$较大时运算困难
高斯核函数	$K(x_i,x_j)=exp(-\frac{(x_i-x_j{)}^2}{2{\sigma }^2})$	参数容易选择	解释性弱、计算速度慢、易过拟合