SVM公式推导

SVM公式推导

结合李航老师的《统计学习》方法进行的推导。

首先最简单的情况是线性可分，并且没有outlier，也就是严格线性可分。
组合最优化问题目标和满足条件时使用了拉格朗日优化。这种思想在推导l1正则化或者l2正则化时也使用了相同的方法。

不那么严格的线性可分情况下，有些点同类点在支持向量中间，有些是在别的类里面。因此加入了惩罚因子来最小化这些不准确的情况。这种情况下求得的最优解bias是在一个范围内，而w有唯一解。最终计算结果为所有样本与输入样本的乘积。因此可以引入核函数，定义输入样本和所有样本之间的关系。可以将非线性可分的样本都映射到高维变成线性可分。

svm求最优解的算法，SMO算法。因为SVM优化函数是一个凸优化的问题（引入的拉格朗日系数alpha是大于等于0的）。所以在指定区间内svm一定是有最优解的。所以smo每次都“进步”一点点，最终达到的局部最优解一定是全局最优解。

SMO的思想是先选取其中两个alpha作为变量，其余都当作常数。因为所以alpha之间有等式关系，所以无法只取出一个，其余当作常数。对于这两个alpha对目标函数进行优化。