机器学习课程笔记（第七周）支持向量机SVM

课程链接https://www.coursera.org/learn/machine-learning
参考内容https://www.cnblogs.com/maxiaodoubao/p/10213597.html
这一节学习的不是很认真，主要靠看以上博客内容。本文仅供自己学习记录，建议移步以上链接写的更好。

SVM支持向量机

逻辑回归回顾

代价函数如下：

构建SVM

逻辑回归的 cost function 分为A、B 两个部分。 我们做下面的操作：
（a） 使用之前定义的 cost1() 和 cost0() 替换公式中对应的项。
（b） 根据 SVM 的习惯，除去 1/m 这个系数。因为1/m 仅是个常量，去掉它也会得出同样的 θ 最优值。
（c）同样根据 SVM 的习惯， 我们删掉 λ，引入常数 C， 将 cost function 改为 C × A + B， 通过设置不同的 C 达到优化目的。 （在优化过程中，其意义和逻辑回归是一样的。可以理解为 C = 1 / λ）
最终得到 SVM 的代价函数：

SVM 经常被看作是一个"大间距分类器" Large Margin Intuition

为了增加鲁棒性，得到更好的结果(避免欠拟合、过拟合，应对线性不可分的情况)，SVM 做的不仅仅是将间距最大化，而是做了一些优化：
之前的定义中，θTx ≥ 0 被分为正类，θTx < 0 被分为负类。SVM 的要求更严格： θTx ≥ 1 被分为正类；θTx ≤ -1 被分为负类。只有当C 特别大的时候， SVM 才是一个最大间隔分类器

为构造复杂的非线性分类器：核函数Kernels