机器学习_阅读笔记_SVM

这里给出阅读的记录，后面把这些内容整理整理成一篇文章

第一步：宏观概念

支持向量机(SVM)是什么意思？ 里提供了一些图片解释

第二步：最优化公式推导

阅读<<统计学习方法>>第七章-支持向量机 7.1.3 间隔最大化
推导得到最优化公式

第三步：拉格朗日对偶算法

首先理解拉格朗日乘子法
拉格朗日乘子法如何理解？介绍了基本的概念
拉格朗日乘子法 那些年学过的高数对知乎上部分回答的一个总结

然后看看KKT条件，拉格朗日对偶性]
拉格朗日乘子法、KKT条件、拉格朗日对偶性

然后阅读《统计学习方法》》第七章-支持向量机 7.1.4 学习的对偶算法

根据上面的优化公式先定义拉格朗日函数

然后根据拉格朗日对偶性，原始问题的对偶性问题是极大极小问题：

所以，为得到对偶问题的解，需先求$L(w,b,\alpha)$对$w$,$b$的极小，在求对$\alpha$的极大。
对$w$,$b$求得极小：

然后对上式对$\alpha$求极大

转化成以下求极小

通过上式求得$\alpha$(将等式带入求解的函数中，对每个$\alpha_i$求偏导并令其值为0，对求得的$\alpha$值判断是否满足不等式$\alpha_i \geq 0$)，然后带入下式求$w$,$b$

阅读《统计学习方法》第七章-支持向量机 7.1.4 例7.2，通过示例更好的理解。

第四步：核函数

第五步：SVM训练方法:(序列最小优化算法)SMO

理论可直接看WIKI
《机器学习实战》有对应代码实现