西瓜书第六章总结

SVM介绍

SVM的全称是Support Vector Machine，即支持向量机，主要用于解决模式识别领域中的数据分类问题，属于有监督学习算法的一种.基本思想是找到一个最大间隔超平面。

线性SVM算法的数学建模

一个最优化问题通常有两个最基本的因素：1）目标函数，也就是你希望什么东西的什么指标达到最好；2）优化对象，你期望通过改变哪些因素来使你的目标函数达到最优。在线性SVM算法中，目标函数显然就是那个“分类间隔”，而优化对象则是决策面。
欲找到具有最大间隔的划分超平面，也就是要找到能满足式中约束的参数w和b，是的γ最大，即

上式等价于

上式是一个凸优化问题，对上式使用拉格朗日乘子法得到其对偶问题。
拉格朗日函数为
其对偶问题整理后得

最终优化的就是上式，常用SMO算法。关于支持向量机，因近期比较忙，后续会完完整整的推导并更新到博客。

参考

[1] 周志华.[机器学习]
[2] https://www.zhihu.com/people/chen-dong-yue/posts