吴恩达机器学习笔记（10）——支持向量机SVM

一、优化目标

支持向量机（Support Vector Machine ，SVM）是另一种监督式学习算法。它有时候更加的简洁和强大。

我们将逻辑回归中的代价函数转化一下，并使用两段直线来尝试替代曲线，这被称作hinge loss 函数。

我们把第一项定义为​cost1(z)​，第二项定义为​cost0(z)​，那么可以说​cost1(z)是当y=1时进行分类的代价函数，​cost0(z)是当y=0时进行分类的代价函数。
用cost1和cost0代替，进而有：

对公式稍作变形，乘上一个​m/λ，并​记C=1/λ，于是就变成：

这就是通常使用的SVM代价函数，这个系数C本质上和λ一样的，都是改变普通代价函数项和正则项的权重关系。也就是说，如果我们想要加强正则化强度来处理过拟合，那么减小C；如果想要减少正则化强度来处理欠拟合，那么增大C。

最后，与逻辑回归中不同的是，SVM算法的假设函数并不代表y=0或1的概率，而是只输出0或