【机器学习】SVM原理公式推导及常见问题（2）

目录

---

软间隔最大化

接着上篇的最基本的支持向量机模型，下面介绍“软间隔”最大化。简单来说，就是对间隔放宽一个系数$\xi_i$目标函数为：

$$\min_{\omega,b,\xi} \frac{1}{2}||\omega||^2+C\sum_{i=1}^{N}\xi_i$$ $$s.t. y_i(\omega\cdot x_i+b)\geq1-\xi_i, i=1,2,...,N$$ $$\xi_i,i=1,2,...,N\geq0$$
其中， $C$代表惩罚系数，惩罚系数越大，目标函数对于松弛系数 $\xi_i$越严苛。

合页损失函数

软间隔最大化问题，可以转化为合页损失函数最小化问题。令 $\xi_i=1-y_i(\omega\cdot x_i+b), \xi_i \geq0$，所以

[1−yi(ω⋅xi+b)]+=[ξi]