学习svm时候遇到的问题

1. 为什么要转换成对偶问题？

1. 方便核函数的引入
2. 改变了问题的复杂度。由求特征向量w转化为求比例系数a，在特征维度比较高的时候会减少计算复杂度，在特征维度低于系数数量的时候通过直接求解原始问题计算量更小
3. 求解更高效，因为只用求解alpha系数，而alpha系数只有支持向里才非0，其它全部为0。

计算过程：点击跳转

2. svm问题只能通过使用拉格朗日乘子转换成对偶问题求解吗？

答案是不是，svm是针对kkt条件的一个优化算法
提供了两种其他的解决方法：

1. 使用梯度下降方法（参考李宏毅老师的课 linear svm即可），参考笔记1 ，参考笔记2
2. 使用QP方法求解，参考文章1，参考文章2

3. kkt条件的作用

点击跳转
KKT条件：
简单想就是，最优解无非两种情况
A.落在约束内（不含边界，用α将约束梯度屏蔽掉，此时只要原目标函数梯度为零【因为为凸】即最优解）
B.最优值不落在可行域（不含边界）内，那么一定是落在了某个边界上，用α将不起作用的约束屏蔽掉即可。此时目标函数梯度和边界约束梯度共线，即拉格朗日最优条件。