contourf参数 python_Python机器学习（六）

3.4 使用支持向量机最大化分类间隔

0 引子

支持向量机（SVM）可以看做感知器的拓展。感知器算法中，我们可以最小化分类误差。而在SVM中，我们的优化目标是最大化分类间隔。此处间隔是指两个分离的超平面的距离，而最靠近超平面的训练样本被称作支持向量。

1 对分类间隔最大化的直观认识

其实就是确定了决策边界的系数之后，移动决策边界（超平面），使得平行的两个超平面在保持依然为决策边界的前提下，距离最大化。
注：在实践中，通过二次规划的方法很容易得到我们想得到的最值。

2 使用松弛变量解决非线性可分问题

• 原因

对于非线性可分的数据来说，需要放松线性约束条件，以保证在适当的罚项成本下，对错误分类的情况进行优化时能够收敛。

• SVM与logistic回归

logistic回归优点：
logistic回归会尽量最大化训练数据集的条件似然，这使得它比支持向量机更易于处理离群点；
logistic回归模型简单更容易实现；
logistic回归模型更新方便