Andrew Ng机器学习入门学习笔记（六）之支持向量机（SVM）

一.支持向量机的引入

支持向量机（SVM）是一种极受欢迎的监督学习算法，为了引入支持向量机，我们首先从另一个角度看逻辑回归。

1.从单个样本代价考虑

假设函数$h_\theta(x)=\frac{1}{1+e^{-\theta^Tx}}$。由于S型函数有如下图的特性，

则，如果$y=1$，那我们希望$h_\theta(x)≈1$,即$\theta^Tx>>0$；如果$y=0$，那我们希望$h_\theta(x)≈0$,即$\theta^Tx<<0$。

对于逻辑回归，对于单个样本$(x,y)$，其代价为

$$-(ylog h_\theta(x)+(1-y)log (1-h_\theta(x)))=-ylog \frac{1}{1+e^{-\theta^Tx}}-(1-y)log (1-\frac{1}{1+e^{-\theta^Tx}})$$

①如果$y=1$，上述单个样本代价函数中只有第一项起作用，第二项为$0$。

令$z=\theta^Tx$，此时代价随$z$的变化曲线如下图所示

结合此图也可以看出对于正样本（即，$y=1$），为了使代价$-log \frac{1}{1+e^{-\theta^Tx}}$最小，我们将设置$\theta^Tx$比较大，这时代价接近于$0$。

在支持向量机中这种情况可以用两条线段作为新的代价函数$cost_1(z)$，如下图桃红色部分

②如果$y=0$，上述单个样本代价函数中只有第二项起作用，第一项为$0$。

此时代价随$z$的变化曲线如下图所示，

结合此图也可以看出对于负样本（即，$y=0$），为了使代价$-log (1-\frac{1}{1+e^{-\theta^Tx}})$最小，我们将设置$\theta^Tx$比较大，这时代价接近于$0$。

在支持向量机中可以用两条线段作为新的代价函数$cost_0(z)$，如下图桃红色部分

2.从优化目标考虑

对于逻辑回归，优化目标是

$$\displaystyle\mathop{\mathrm{min}}\limits_{\theta} J(\theta)=\mathop{\mathrm{min}}\limits_{\theta}[\frac{1}{m}\sum_{i=1}^my^{(i)}(-log h_\theta(x^{(i)}))+(1-y^{(i)})(-log (1-h_\theta(x^{(i)})))+\frac{\lambda}{2m}\sum_{j=1}^n\theta_j^2]$$
支持向量机就是要将其中的 $(-log h_\theta(x^{(i)}))$换成前面 $y=1$时新的单个样本代价 $cost_1(\theta^Tx^{(i)})$，将 $(-log (1-h_\theta(x^{(i)})))$换成前面 $y=0$时新的单个样本代价 $cost_0(\theta^Tx^{(i)})$，即 $$\displaystyle\mathop{\mathrm{min}}\limits_{\theta} J(\theta)=\mathop{\mathrm{min}}\limits_{\theta}[\frac{1}{m}\sum_{i=1}^my^{(i)}cost_1(\theta^Tx^{(i)})+(1-y^{(i)})cost_0(\theta^Tx^{(i)})+\frac{\lambda}{2m}\sum_{j=1}^n\theta_j^2]$$

又由于无论是否有$\frac{1}{m}$都不会影响最小化的结果，故可以忽略$\frac{1}{m}$；

同时正则化逻辑回归总的代价函数包括两项，即$A+\lambda B$（通过$\lambda$控制$A,B$间的平衡），SVM则通过另一种方式控制$A,B$间的平衡，即$CA+B$。

综上，SVM的优化目标为

$$\displaystyle\mathop{\mathrm{min}}\limits_{\theta}[C\sum_{i=1}^my^{(i)}cost_1(\theta^Tx^{(i)})+(1-y^{(i)})cost_0(\theta^Tx^{(i)})+\frac{1}{2}\sum_{j=1}^n\theta_j^2]$$

二.SVM的决策边界

1.SVM优化目标进一步研究

为了最小化代价函数，$y=1$时，我们希望$\theta^Tx\geqslant1$，而不仅仅像逻辑回归那样只要$\theta^Tx\geqslant0$，就可以预测$h_\theta(x)=1$；
同理，$y=0$时，我们希望$\theta^Tx\leqslant-1$，而不仅仅像逻辑回归那样只要$\theta^Tx<0$，就可以预测$h_\theta(x)=0$。

可以看出SVM相比逻辑回归而言要求更高，相当于多了一个安全的间距因子。故人们也会将SVM看作是大间距分类器。

当$C$为一个很大的值时，为了