SVM

SVM

• 二分类模型：特征空间上间隔最大的线性分类器
• 学习目标：在n维数据空间中找到一个超平面
• 学习策略：最大化间隔
• 分类超平面：$f(x)=w^{T}x+b$, $f(x)$小于0对应于$y=-1$的数据点，$f(x)$大于0对应于$y=1$的数据点，$f(x)=0$对应于超平面上的点。
• 定义点到超平面的函数间隔：$\widehat{{\gamma }_i}=y_i(w^T{x}_i+b)$, 在超平面确定的情况下，$|w^{T}x+b|$能够表示点$x$距离超平面的远近，利用$y$和$f(x)$的符号可以判断分类正确性。为什么要乘以$y$? 当分类错误时，$y$和$f(x)$异号，此时$\hat{\gamma }$为负，我们希望最大化这个间隔（即令它接近0），使得被错误分类的这个点更接近超平面；当分类正确时，同样我们也希望最大化间隔（使它尽可能大于0），使得被正确分类的点更远离超平面。（因此可以通过函数间隔将所有样本点统一起来。无论是分错的还是分对的样本点，都可以令间隔最大化来改善分类性能。）
• 超平面关于训练集$T$的函数间隔定义为$T$中所有样本点$(x_i,y_i)$的函数间隔最小值：$\hat{\gamma }=\min \widehat{{\gamma }_i}$, (i=1,…,n)。
• 几何间隔：$\tilde{\gamma }=y\frac{w^{T}x+b}{||w||}=\frac{\hat{\gamma }}{||w||}$。成比例地改变$w$和$b$会影响函数间隔。
• 最大化间隔分类器：当超平面离数据点的间隔越大，分类的确信度（confidence）越高。（注意，当分类错误时，这个间隔为负，当分类正确时，这个间隔为正）
• 最大间隔分类器目标函数：$\max \tilde{\gamma }$, 满足约束条件$y_i(w^T{x}_i+b)=\widehat{{\gamma }_i}⩾\hat{\gamma },i=1,...,n$ （训练集函数间隔定义为所有样本点间隔的最小值）我们令$\hat{\gamma }=1$，则上式转化为:
  $$\max \frac{1}{||w||},s.t.,y_i(w^T{x}_i+b)⩾1,i=1,...,n$$

所有满足$y_i(w^T{x}_i+b)=1$的点称为支持向量。
上述目标函数等价于：
$$\max \frac{1}{2}||w|{|}^{2}s.t.,y_i(w^T{x}_i+b)⩾1,i=1,...,n$$

• 问题求解：对偶算法。通过拉格朗日对偶性变换为对偶问题，通过求解与原问题等价的对偶问题得到原始问题的最优解。（好处：对偶问题更容易求解；更容易引入核函数推广到非线性分类问题。）

构建拉格朗日函数：（将约束条件融合到目标函数中）
$$\mathcal{L}(w,b,\alpha )=\frac{1}{2}||w|{|}^2-\sum _{i=1}^n{\alpha }_i(y_i(w^T{x}_i+b)-1)$$

令：
$$\theta (w)=\underset{{\alpha }_i⩾0}{\max }\mathcal{L}(w,b,\alpha )$$

当某个约束条件不满足时，$\theta (w)=\infty$，当所有约束条件都满足时，$\theta (w)=\frac{1}{2}||w|{|}^2$。
因此要求在满足约束条件下最小化$\frac{1}{2}||w|{|}^2$，等价于最小化$\theta (w)$，所以目标函数转换为：
$$\underset{w,b}{\min }\theta (w)=\underset{w,b}{\min }\underset{{\alpha }_i⩾0}{\max }\mathcal{L}(w,b,\alpha )=p^{\ast }$$ 将最大最小交换获得原始问题的对偶问题：
$$\underset{{\alpha }_i⩾0}{\max }\underset{w,b}{\min }\mathcal{L}(w,b,\alpha )=d^{\ast }$$

上述的交换需要满足KKT条件，才有$d^{\ast }=p^{\ast }$, 这时可以通过求解对偶问题来间接地求解原始问题。