机器学习(二)线性模型---SVM

机器学习(二)线性模型—SVM

2.3 SVM
  2.3.1 概述
  SVM在特征空间找到一个超平面使得超平面能将两类分开，且间隔最大(解唯一)
  i. 当训练样本线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分支持向量机；
  ii. 当训练数据近似线性可分时，引入松弛变量，通过软间隔最大化，学习一个线性分类器，即线性支持向量机；
  iii. 当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。
 
  2.3.2 问题定义
  点到分离超平面的距离：

$$\frac{1}{||w||}|w^Tx+b|\tag{27}$$
  若分离超平面能将训练样本完全分类正确则 $y_i(w^Tx+b)>0$，令
$$\begin{cases} w^Tx_i+b\geq+1, & y_i=+1\\ w^Tx_i+b\leq-1, & y_i=-1\tag{28}\\ \end{cases}$$
 距离超平面最近的向量使得等号成立，它们被称为 支持向量( $y_i(w^Tx+b)-1=0$)
 两个异类支持向量到超平面的距离之和被叫做 间隔：
$$\frac{2}{||w||}\tag{29}$$
  SVM试图去最大化间隔，目标函数定义为：
$$\begin{align} &\max_{w,b}\frac{2}{||w||}\notag\\ &s.t.y_i(w^Tx_i+b)\geq1, i=1,2,..,m\tag{30} \end{align}$$
  $(30)$等价于去：
$$\begin{align} &\min_{w,b}\frac{1}{2}||w||^2\notag\\ &s.t.y_i(w^Tx_i+b)\geq1, i=1,2,..,m\tag{31} \end{align}$$
  2.3.3 原问题与对偶问题推导
 对 $(31)$的每条约束添加拉个朗日乘子 $\alpha_i\geq0$，构建拉格朗日函数
$$L(w,b,\alpha)=\frac{1}{2}||w||^2+\sum_{i=1}^m\alpha_i(1-y_i(w^Tx_i+b))\tag{32}$$
 对上式进行全微分：

dL=d(12wTw+∑i=1mαi(1−yi(wTxi+b))=