SVM 的推导

支持向量机，SVM，全称 Support Vector Machine，是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；核的引入使其成为实质上的非线性分类器。
给定一个训练数据集 $T=\left\{(x_{1},y_{1}), (x_{2}, y_{2}), ..., (x_{n}, y_{n}) \right\}$，其中$y_{i}\in\left\{+1,-1\right\}$；学习的目标是在特征空间找到一个分离超平面，能将实例分到不同的类，超平面对应于$w*x+b = 0$。
定义超平面$(w, b)$关于样本点$(x_{i},y_{i})$的函数间隔为

$$\hat{\gamma_{i}} = y_{i}*(w*x_{i}+b)$$ 定义超平面 $(w, b)$关于数据集 T 的函数间隔为 $$\hat{\gamma} =\min\limits_{i=1,...,n}\hat{\gamma_{i}}$$
可若成比例地改变 w 和 b，超平面并没有改变，但函数间隔却成为原来的两倍，故引入几何间隔 $$\gamma_{i} = y_{i}*(\frac{w}{||w||}*x_{i}+\frac{b}{||w||})$$
定义超平面 $(w, b)$关于数据集 T 的几何间隔为 $$\gamma =\min\limits_{i=1,...,n}\gamma_{i}$$
可知对于函数间隔和几何间隔，有 $\gamma=\frac{\hat\gamma}{||w||}$
下面考虑如何求得一个几何间隔最大的超平面，即最大间隔分离超平面 $$\max\limits_{w,b} \quad \gamma$$ $$s.t. \quad y_{i}*(\frac{w}{||w||}*x_{i}+\frac{b}{||w||})\geq\gamma,\quad i=1,2,...n$$
由几何间隔和函数间隔的关系式，可将上式化为 $$\max\limits_{w,b} \quad \frac{\hat\gamma}{||w||}$$ $$s.t. \quad y_{i}*(w*x_{i}+b)\geq\hat\gamma,\quad i=1,2,...n$$
函数间隔 $\hat\gamma$的取值不影响最优化问题的解，所以取 $\hat\gamma=1$，代入上式，原问题转化为 $$\min\limits_{w,b} \quad \frac{1}{2}||w||^{2}$$ $$s.t. \quad y_{i}*(w*x_{i}+b)-1\geq 0 ,\quad i=1,2,...n$$
这是一个凸二次规划问题，求出问题的解 w*，b*，就可以得到最大间隔分离超平面。为了求解该最优化问题，将它作为原始最优化问题，应用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解，这就是线性可支持向量机的对偶算法。这样做的优点，一是对偶问题往往更容易求解；二是自然引入核函数，进而推广到非线性分类问题。

拉格朗日对偶性的相关推导在这里，是我之前写的一篇博客

根据拉格朗日对偶，原始问题的对偶问题是极大极小问题$\max \limits_{\alpha} \min \limits_{w,b} L(w,b,\alpha)$
1.求$\min \limits_{w,b} L(w,b,\alpha)$
将$L(w,b,\alpha)$分别对w,b求偏导数并令其等于0

参考资料：
Stanford CS229《Machine Learning》
《统计学习方法》
https://zh.wikipedia.org/wiki/%E6%94%AF%E6%8C%81%E5%90%91%E9%87%8F%E6%9C%BA