支持向量机2-线性支持向量机和核函数

一.线性可分支持向量机存在的问题

有些时候样本中混入了异常点，导致不能线性可分， 如下两种情况：
图一中蓝色异常点的引入导致线性不可分；图二中因为引入了蓝色点，导致超平面由红色视线变成了黑色虚线， 模型泛化能力减弱；所以引入线性可分支持向量机

二.线性支持向量机

2.1 线性分类SVM的软间隔最大化

软间隔： 相对于硬间隔而言，软间隔对样本到超平面的函数距离的要求放松了，之前是一定要大于等于1，现在只需要加上一个大于等于0的松弛变量能大于等于1就可以了；
SVM对训练集里面的每个样本(xi,yi)引入了一个松弛变量ξi≥0,使函数间隔加上松弛变量大于等于1，也就是说：
$y_i(w\bullet x_i+b)\ge 1-{\xi }_i$

软间隔最大化目标函数：
$\underset{w,b}{\min }\frac{1}{2}||w|{|}_2^2+C{\sum }_{i=1}^m{\epsilon }_i$

s.t.
${\hat{\gamma }}_i=y_i(w\cdot x_i+b)\ge 1-{\epsilon }_{i}i=1,2......,N$
${\epsilon }_i\ge 0i=1,2......,N$

2.2 软间隔最大化目标函数的优化

原始最优化问题

引入拉格朗日乘子后，我们的优化目标变成：
$\underset{w,b,\epsilon }{\min }\underset{{\alpha }_i\ge 0,{\mu }_i\ge 0}{\max }L(w,b,\epsilon ,\alpha ,\mu )$
其对偶问题为极大值极小值问题：
$\underset{{\alpha }_i\ge 0,{\mu }_i\ge 0}{\max }\underset{w,b,\epsilon }{\min }L(w,b,\epsilon ,\alpha ,\mu )$
对偶最优化问题 : 查看详细推导

原始最优化的解与对偶最优化问题解的关系：

2.3 线性分类SVM算法总结

2.4 软间隔最大化时的支持向量

硬间隔支持向量回顾：
α i ∗ ( y i ( w x i + b ) − 1 ) = 0 ; 如 果 α i ∗ > 0 , 则 y i ( w x i + b ) = 1 ; 如 果 α i ∗