【机器学习基础】核逻辑回归

将软间隔支持向量机看做正则化模型

上一小节中我们介绍了软间隔支持向量机，该模型允许有错分类数据的存在，从而使模型对数据有更好的适应性，有效避免过拟合的问题。
现在我们回顾一下松弛变量ξn，我们用ξn来记录违反分类边界的数据到边界的距离。

我们可以从另外一个角度，考虑一下ξn的计算：
对于任何一个点，如果该点违反了边界，那么ξn记录了其到边界的距离；如果没有违反，ξn为0。

所以我们可以用下面这个式子来表示：

与正则化模型的比较

在正则化中，我们用w的长度来控制复杂度，并且我们希望某个误差度量最小。所以对于软间隔支持向量机来说，你可以把它看成是这种正则化的一种形式。

那么我们为什么不从正则化的角度来介绍SVM呢？