线性SVM与软间隔最大化

线性支持向量机

松弛变量和惩罚代价

线性不可分意味着某些样本点$(x_i,y_i)$不能满足函数间隔大于等于1的约束条件。可以对每个样本点$(x_i,y_i)$引入一个松弛变量$\xi_i\ge0$，使函数间隔加上松弛变量大于等于1.这样，约束条件变为
$y_i(w_i\cdot x_i+b)\ge1-\xi_i$
同时，对每个松弛变量$\xi_i$，支付一个代价$\xi_i$，目标函数变成
$\frac{1}{2}||w||^2+C\sum\limits_{i=1}^N\xi_i\text{ (7.31)}$
这里C>0称为惩罚参数，C较大对误分类惩罚增大。最小化
目标函数(7.31)包含两层含义：使间隔尽量大，同时使得误分类点个数尽量少。

原始问题

线性不可分支持向量机的学习问题变成如下凸二次规划问题（原始问题）

$$\begin{align*} \min\limits_{w,b,\xi}\frac{1}{2}||w||^2+C\sum\limits_{i=1}^N\xi_i\text{(7.32)}\\ s.t.y_i(w\cdot x_i+b)\ge1-\xi_i,i=1,...,N\text{(7.33)}\\ \xi_i\ge0,i=1,...N\text{(7.33)} \end{align*}$$
原始问题(7.32)-(7.34)是一个凸二次规划问题。可以证明w的解是唯一的，但b的解可能不唯一，而是存在于一个区间。

学习的对偶算法

对偶问题

原始问题(7.32)-(7.34)的对偶问题是

$$\begin{align*} \min\limits_a\frac{1}{2}\sum\limits_{i=1}^N\sum\limits_{j=1}^Na_ia_jy_iy_j(x_i\cdot x_j)-\sum\limits_{i=1}^Na_i\text{(7.37)}\\ s.t. \sum\limits_{i=1}^Na_iy_i=0\text{(7.38)}\\ 0\le a_i\le C,i=1,...,N\text{(7.39)} \end{align*}$$

拉格朗日函数

$L(w,b,a)=\frac{1}{2}||w||^2+C\sum\limits_{i=1}^N\xi_i-\sum_{i=1}^Na_i(y_i(w\cdot x_i+b)-1+\xi_i)-\sum_{i=1}^N\mu_i\xi_i\text{ (7.40)}$，其中 ai≥0,μ