【机器学习】SVM和核函数

上了吴恩达教授在Coursera上的课程之后，在网上找到了他在斯坦福课程的资料CS229 。下面会结合这两个课程的资料，整理一篇笔记。

背景

从之前的逻辑回归的模型中，我们可以看到，如果一个样本越远离决策边界(Decision Boundary)，那么我们就越能确保这个样本被正确分类。所以一个比较好的决策边界是尽量能让所有样本到决策边界的距离最大。从下图中可以看到，如果margin越大，我们对样本的正确分类就越有信心。

SVM就是一种能帮你得到margin最大的决策边界的算法。

SVM数学推导

在接下来的推导中，定义 y ( i ) ∈ { − 1 , 1 } y^{(i)}\in\{-1,1\} y(i)∈{ −1,1}，而不是 y ∈ { 0 , 1 } y\in\{0,1\} y∈{ 0,1}。首先定义函数间隔(functional margin) 为:
$${\hat{\gamma }}^{(i)}=y^{(i)}(w^T{x}^{(i)}+b)$$

如果$y^{(i)}=1$，那么我们希望$w^T{x}^{(i)}+b$能是一个很大的正数，相反，如果$y^{(i)}=-1$，那么$w^T{x}^{(i)}+b$需要是一个很小的负数，这样就能使得样本离决策边界越远，分类效果越好。因此，得到的functional margin $\hat{\gamma }$越大，分类效果越好。
对于一个样本集 S = { ( x ( i ) , y ( i ) ) ; i = 1 , . . . n } S=\{(x^{(i)},y^{(i)});i=1,...n\} S={ (x(i),y(i));i=1,...n}，定义：
$$\hat{\gamma }=\underset{i=1,...n}{\min }{\hat{\gamma }}^{(i)}$$

那么接下来讨论 几何间隔(geometric margin) 。

从上图中可以看到，向量$w$一定是与超平面垂直的，我们取超平面上的任意两点$x_1,x_2$，$x_1$