支持向量机 SVM | SVC | SVR | 代码实现

一. SVC 分类模型

对于SVM分类模型，即SVC模型，目标函数和限制条件为：
$$\{\begin{array}{c}\min \frac{1}{2}{\Vert w\Vert }^2+C{\sum }_{i=1}^m{\xi }_i\\ \\ s.t:y^{(i)}(w^T{x}^{(i)}+b)\ge 1-{\xi }_i，i=1,2,...,m\end{array}$$
$${\xi }_i\ge 0，i=1,2,...,m$$

	通过“街宽”最大，以确保所有样本点都在“街道”以外
		即w最小

二. SVR 回归模型

对于SVM回归模型，即SVR模型：我们希望能够寻找一条线性模型y=wx+b来尽可能拟合所有样本点；也就是说，我们需要样本点位于“街道”内部

这样，我们通过定义常量$ϵ>0$，就可以得到对于任意一点$(x,y)$，如果$|y^i-wx-b|\le ϵ$，模型无损失

因此，目标函数和限制条件为：
$$\{\begin{array}{c}\min \frac{1}{2}{\Vert w\Vert }^2\\ \\ s.t:|y^{(i)}-w^T{x}^{(i)}-b|\le ϵ，i=1,2,...,m\end{array}$$

加入松弛因子后，式子变为：
$$\{\begin{array}{c}\min \frac{1}{2}{\Vert w\Vert }^2+C{\sum }_{i=1}^m({\xi }_i^{\wedge }+{\xi }_i^{\vee })\\ \\ s.t:-\epsilon -{\xi }_i^{\vee }\le y^{(i)}-w^T{x}^{(i)}-b\le ϵ+x{i}_i^{\wedge }，i=1,2,...,m\end{array}$$
$$x{i}_i^{\wedge }\ge 0，{\xi }_i^{\vee }\ge 0，i=1,2,3,...m$$
注意：$x{i}_i^{\wedge },{\xi }_i^{\vee }$不能同时大于0

	所有点尽量靠近街中线
		允许异常样本点的存在，也允许个别点位于“街道”外侧

---

感谢阅读🌼
如果喜欢这篇文章，记得点赞👍和转发🔄哦！
有任何想法或问题，欢迎留言交流💬，我们下次见！
本文相关代码存放位置
    【SVM算法 分类代码实现】

祝愉快🌟！

---