机器学习笔记（十一）：支持向量机

目录

1）Optimization objective

2）Large Margin Intuition

3）Kernels 1

4）Kernels II

5）Using an SVM

---

注：这一章SVM可能有点难理解，强烈建议大家把本章的编程作业做了。

1）Optimization objective

我们换一个角度来看看我们之前学过的逻辑回归：

我们得到了支持向量机的代价函数：

 

2）Large Margin Intuition

下图是我们的支持向量机模型：代价函数定义略有不同：

现在我们来看看我们的决策边界：

我们来看一个线性决策边界：这有四条边界，其中黑色边界是最好的，最大间隔分类。

3）Kernels 1

我们来看一个非线性决策边界：

我们可以通过地标来构造新特征：

 

来看一个例子：

下图显示了我们使用地标位置确定的决策边界。

4）Kernels II

实际使用中我们如何选择地标呢？

于是我们得到SVM核函数：

 

我们得到新的代价函数：

 

 

下图显示了SVM参数的影响：

5）Using an SVM

使用SVM我们需要选择合适参数和核函数：

下图显示了使用逻辑函数和SVM的准则：