【Stanford机器学习笔记】10-Support Vector Machines

这节讲支持向量机在机器学习领域的应用

1. Large Margin Classification

1.1 Optimization Objective

通过逻辑回归的代价函数进行修改得到支持向量机的代价函数，首先定义两个函数：

$$Cost_1(z)\\ Cost_0(z)\\ z=\theta^Tx$$

根据逻辑回归模型的代价函数，我们可以得到支持向量机的代价函数及目标函数形式为：

$$minC\sum_{i=1}^m[y^{(i)}Cost_1(\theta^Tx^{(i)})+(1-y^{(i)})Cost_0(\theta^Tx^{(i)})]+\frac{1}{2}\sum_{j=1}^n\theta_j^2$$

SVM的假设函数是直接通过参数$\theta$得出样本所属的类别。

从中可以看出，单个SVM分类器的作用即是把样本分成两个类别，非A即B，不像logistic regression输出的是每个类别的概率大小。

1.2 Large Margin Intuition

（1）SVM又称为最大间隔分类器，由前一节中，我们知道，当$z=\theta^Tx$远大于0时，我们就能预测样本属于正样本（y=1），当$z=\theta^Tx$远小于0时，我们就能预测样本属于负样本（y=0），根据之前对$Cost_1(z)\\$ 和 $Cost_0(z)$的定义，我们现在定义：
当$z=\theta^Tx$大于等于1时，我们就能预测样本属于正样本（y=1），当$z=\theta^Tx$小于等于-1时，我们就能预测样本属于负样本（y=0），不仅仅大于零活小于零。

（2）现在我们假设一种特殊情况，正则化项C是一个较大的值，例如C=100000；根据SVM的代价函数，

$$minC\sum_{i=1}^m[y^{(i)}Cost_1(\theta^Tx^{(i)})+(1-y^{(i)})Cost_0(\theta^Tx^{(i)})]+\frac{1}{2}\sum_{j=1}^n\theta_j^2$$
我们可以知道，如果C很大，则我们需要将
$$\sum_{i=1}^m[y^{(i)}Cost_1(\theta^Tx^{(i)})+(1-y^{(i)})Cost_0(\theta^Tx^{(i)})]=0$$
所以，我们可以得到当 $z=\theta^Tx$大于等于1时，我们就能预测样本属于正样本（y=1），当 $z=\theta^Tx$小于-1时，我们就能预测样本属于负样本（y=0）。
此时，我SVM的代价函数就会变为：

min12∑j=1nθ2j