机器学习篇——支持向量机SVM

SVM是面试常考内容之一，推导需要掌握。
1、模型
构建分离超平面y=wx+b，属于二分类模型（暂不考虑svr）和判别模型。
2、策略
极小化正则化合页损失函数；
几何间隔最大化；
3、推导及算法
（1）原始最优化问题：
最小化损失函数：w的二范数+C*错分代价的和（硬间隔无错分代价）
两个限制条件
（2）引入拉格朗日乘子：
将原始问题转换为最小最大化问题
（3）KKT条件：
引入kkt条件，将最小最大化问题转化为最大最小化问题，即对偶问题
（4）对偶问题求解：
对参数w和b求导，再代回，得到关于α的凸二次优化问题
（5）smo算法
求解凸二次优化问题，算法内容后续补充
（6）引入核函数
求出α后，代回f=wx+b中，由于w和b中均有