SVM公式推导
结合李航老师的《统计学习》方法进行的推导。
首先最简单的情况是线性可分,并且没有outlier,也就是严格线性可分。
组合最优化问题目标和满足条件时使用了拉格朗日优化。这种思想在推导l1正则化或者l2正则化时也使用了相同的方法。
不那么严格的线性可分情况下,有些点同类点在支持向量中间,有些是在别的类里面。因此加入了惩罚因子来最小化这些不准确的情况。这种情况下求得的最优解bias是在一个范围内,而w有唯一解。最终计算结果为所有样本与输入样本的乘积。因此可以引入核函数,定义输入样本和所有样本之间的关系。可以将非线性可分的样本都映射到高维变成线性可分。
svm求最优解的算法,SMO算法。因为SVM优化函数是一个凸优化的问题(引入的拉格朗日系数alpha是大于等于0的)。所以在指定区间内svm一定是有最优解的。所以smo每次都“进步”一点点,最终达到的局部最优解一定是全局最优解。
SMO的思想是先选取其中两个alpha作为变量,其余都当作常数。因为所以alpha之间有等式关系,所以无法只取出一个,其余当作常数。对于这两个alpha对目标函数进行优化。