SVM的传奇故事——SVM知识点总结

Introduce

SVM是机器学习算法工程师面试必问算法，原理、推导、应用场景、算法比较等等，遂总结于此，方便他人和自己复习！

SVM

SVM的核函数如何选取？

https://www.zhihu.com/question/21883548

（1）如果特征维数很高，往往线性可分（SVM解决非线性分类问题的思路就是将样本映射到更高维的特征空间中），可以采用LR或者线性核的SVM；

（2）如果样本数量很多，由于求解最优化问题的时候，目标函数涉及两两样本计算内积，使用高斯核明显计算量会大于线性核，所以手动添加一些特征，使得线性可分，然后可以用LR或者线性核的SVM；

（3）如果不满足上述两点，即特征维数少，样本数量正常，可以使用高斯核的SVM。

Linear SVM 和 LR 有什么异同？

https://www.zhihu.com/question/26768865

总结：

相同点：

1.  LR和SVM都是分类算法。

2.  如果不考虑核函数，LR和SVM都是线性分类算法，即分类决策面都是线性的。

3.  LR和SVM都是监督学习算法。

不同点：

4.  损失函数不同：LR(对数损失函数)，SVM(hinge损失函数)

5.  SVM决策边界只取决于少数几个样本点(支持向量)，而LR所有的样本点对决策边界都有影响，随着样本点到决策边界距离增加影响程度减弱

6.  线性SVM用到距离测度，因此需要对样本归一化

7.  LR是基于概论模型可以输出分类的概率

8.  SVM是结构风险最小化，自带正则，而LR需要正则化

支持向量机(SVM)是否适合大规模数据？

https://www.zhihu.com/question/19591450

不带核函数的支持向量机（线性）在一定条件下是适合大量数据的，但是带核函数的支持向量机（非线性）在处理大量数据的时候会非常慢，并不适合。

什么是一类支持向量机（one class SVM）

https://www.zhihu.com/question/22365729

训练集只有一类，判断测试集的样本是不是属于这个类。用于异常检测

现在还有必要对SVM深入学习吗？

https://www.zhihu.com/question/41066458

这个问题放在这，是想说明，SVM太重要了，个人眼界、知识储备、面试需要等等

各种机器学习的应用场景分别是什么？例如，k近邻,贝叶斯，决策树，svm，逻辑斯蒂回归和最大熵模型。

https://www.zhihu.com/question/26726794

纯粹干货，面试必备，工作必备

SVM（支持向量机）属于神经网络范畴吗？

https://www.zhihu.com/question/22290096

SVM与神经网络的前世今生

总结来说：联系很紧密，神经网络嵌套SVM等等。区别很明显：SVM是把非线性问题线性化；神经网络是将非线性进行到底！