机器学习_吴恩达_week7（支持向量机SVM）

目录

一、SVM

1.1 优化目标

1.2 大间隔的直观理解

1.3 大间隔分类器的数学原理

1.4 核函数1

1.5 核函数2

1.6 使用SVM

---

一、SVM

1.1 优化目标

从LR入手，一步一步修改成SVM的优化目标：

SVM的代价函数：
左图中，粉色曲线由两部分组成：大于1时是直线，小于1时是斜线（斜线斜率不是很重要）
右图中，粉色曲线由两部分组成：大于-1时是斜线，小于-1是直线

上面对LR的代价函数做了几处修改得到SVM的代价函数：

•  ， 替换
• 删除1/m（删除1/m对的最小取值无影响）
• LR是“A + B”，SVM是“CA + B”，其中，，C是参数

总结一下，SVM的代价函数和模型函数：

1.2 大间隔的直观理解

SVM有一个不正式的别名，叫“大间隔分类器”，即努力用最大间隔来分离正负样本。

努力用最大间隔来分离正负样本:

当参数?不是非常非常大的时候，它可以忽略掉一些异常点的影响， 得到更好的决策界。

回顾 ? = 1/?，因此:
? 较大时，相当于 ? 较小，可能会导致过拟合，高方差。
? 较小时，相当于 ? 较大，可能会导致低拟合，高偏差。
后续会讲解偏差与方差的平衡。

1.3 大间隔分类器的数学原理（选修）

todo

1.4 核函数1

 

1.5 核函数2

todo

1.6 使用SVM