SVM优化技巧和背后的数学知识

转载于我在知乎上关于《现在还有必要对 SVM 深入学习吗？》问题的回答。

现在还有必要对 SVM 深入学习吗？ - 知乎

读研究生的时候有老师说svm火了有十年，然后现在渐渐被深度学习盖过了风头～～最近在看李航的《统计学习方法》，其中svm花了很大的篇幅讲解。

1，svm要求在分类正确的情况下有最大的margin，这是个约束优化问题。针对约束优化问题我们怎么解？（构造拉格朗日函数）那如果是非约束优化问题呢？（梯度下降，牛顿法，拟牛顿法）——>数值分析

2，svm如果要分类的原数据维度很高，那么针对多变量的约束优化问题怎么解？（通过求解对偶问题来解原问题，当目标函数和不等式约束为凸函数，等式函数为仿射变换时，原问题和对偶问题的解等价，那这个条件不满足的时候怎么办呢，目标函数或者不等式约束条件非凸呢？——>凸优化

3，svm本来是对线性数据分类的，那如果是近似线性数据呢？(常见做法是目标函数加个松弛项，你这种软间隔的svm算不算自带正则项，有更好的预防过拟合的效果呢？)那如果是完全非线性数据呢，加松弛项也解决不了呢？(通过核技巧，那随便找一个非线性的函数就能当核函数吗？——>泛函；常见的非线性核函数有高斯核，多项式核等等，那有没有比这些更好的非线性核呢？——>小波svm

svm有很多技巧可以用到相当多的数学工具，换句话说，svm研究透彻到一定程度，做机器学习算法用到的数学知识你可以手到擒来。 所以你觉得svm值得研究吗？