支持向量机 SVM | 线性可分：软间隔模型

线性可分SVM中，若想找到分类的超平面，数据必须是线性可分的；但在实际情况中，线性数据集存在少量的异常点，导致SVM无法对数据集线性划分

也就是说：正常数据本身是线性可分的，但是由于存在异常点数据，导致数据集不能够线性可分

一. 软间隔模型

为了解决上述问题，我们引入软间隔的概念：

1. 松弛因子的解释

• 硬间隔： 线性划分SVM中的硬间隔是距离度量；在线性划分SVM中，要求函数距离一定是大于等于1的，最大化硬间隔条件为：$$\{\begin{array}{c}min\frac{1}{2}{\Vert \overrightarrow{w}\Vert }^2\\ s.t：y^{(i)}({\omega }^T\cdot x^{(i)}+b)\ge 1，i=1,2,...,m\end{array}$$
• 软间隔：SVM对于训练集中的每个样本都引入一个松弛因子(ξ)，使得函数距离加上松弛因子后的值是大于等于1；$$y^{(i)}({\omega }^T\cdot x^{(i)}+b)\ge 1-\xi ；i=1,2,...,m，\xi \ge 0$$

松弛因子(ξ)表示：相对于硬间隔，对样本到超平面距离的要求放松了

当 $\xi =0$ ， 相当于硬间隔
当 $0<\xi <1$ ， 相当于样本点位于“街”内
当 $\xi >1$ ， 相当于样本点位于“街”对面
当 $\xi >2$ ， 相当于样本点位于“街”对面外侧

注意：$\xi$只能对少量的样本起作用

$\xi$越大，表示样本点离超平面越近，
$\xi >1$，那么表示允许该样本点分错

因此：加入松弛因子是有成本的，过大的松弛因子可能会导致模型分类错误

所以，我们对存有异常点的数据集划分时，目标函数就变成了：
$$\{\begin{array}{c}min\frac{1}{2}{\Vert \overrightarrow{w}\Vert }^2+C{\sum }_{i=1}^n{\xi }_{(i)}\\ \\ y^{(i)}({\omega }^T\cdot x^{(i)}+b)\ge 1-{\xi }^{(i)}，i=1,2,...,m\end{array}$$
$$\xi i\ge 0，i=1,2,...,m$$

公式$C{\sum }_{i=1}^n{\xi }_{(i)}$表式：
 
    每个样本惩罚项的总和不能大，函数中的C>0是惩罚参数，需要调参

C越大，表示对错误分类的惩罚越大，也就越不允许存在分错的样本；
 
C越小表示对误分类的惩罚越小，也就是表示允许更多的分错样本存在

也就是说：
对于完全线性可分的数据来说，C的值可以给大一点
对于线性可分但存在异常的数据来说，C的值需要调小

小节

对于线性可分的m个样本(x1,y1)，(x2,y2)… ：

	x为n维的特征向量
	y为二元输出，即+1，-1

SVM的输出为w，b，分类决策函数

选择一个惩罚系数C>0，构造约束优化问题

$$\{\begin{array}{c}{\min }_{\beta \ge 0}\frac{1}{2}{\sum }_{i=1}^m{\sum }_{j=1}^m{\beta }_i{\beta }_j{y}^{(i)}{y}^{(j)}{x}^{(j{)}^T}{x}^{(i)}-{\sum }_{i=1}^m{\beta }_i\\ s.t:{\sum }_{i=1}^m{\beta }_i{y}^{(i)}=0，0\le {\beta }_i\le C，i=1,2,...,m\end{array}$$
使用SMO算法求出上述最优解$\beta$
找到所有支持向量集合：
$$S=(x^{(i)},y^{(i)})(0<{\beta }_i<C,i=1,2,...,m)$$
从而更新w，b

$w={\sum }_{i=1}^m{\beta }_i{x}^{(i)}{y}^{(i)}$

$b=\frac{1}{S}{\sum }_{i=1}^S(y^s-{\sum }_{i=1}^m{\beta }_i{x}^{(i{)}^T}{y}^{(i)}{x}^s)$

构造最终的分类器，为：
$$f(x)=sign(w\ast x+b)$$

	x<0时，y=-1
	x=0时，y=0
	x>0时，y=1
	
	注意：
		假设，不会出现0
		若出现，正负样本随意输出一个，即+0.00000001或-0.00000001都可以

2. SVM软间隔模型总结

	可以解决线性数据中存在异常点的分类模型构建问题
	
	通过引入松弛因子，可以增加模型的泛化能力，即鲁棒性；
	
	对于模型而言：
		如果给定的惩罚项系数C越小，表示在模型构建的时候，就允许存在越多的分类错误的样本，也就表示此时模型的准确率会比较低；
		如果惩罚项系数越大，表示在模型构建的时候，就越不允许存在分类错误的样本，也就表示此时模型的准确率会比较高。

---

感谢阅读🌼
如果喜欢这篇文章，记得点赞👍和转发🔄哦！
有任何想法或问题，欢迎留言交流💬，我们下次见！

祝愉快🌟！

---