SVM！支持向量机

先放一个链接 https://blog.csdn.net/v_JULY_v/article/details/7624837

这篇博客讲解的很细致。

 

支持向量机是要找到分开数据的超平面。

支持向量机只能进行线性分类，要进行非线性分布的分类，要先要数据映射到高维，使其线性可分。

而核函数是为了降低映射的复杂度。

 

SVM的  hinge loss：

1. 实现了软间隔分类（这个Loss函数都可以做到）

2. 保持了支持向量机解的稀疏性

换用其他的Loss函数的话，SVM就不再是SVM了。

正是因为HingeLoss的零区域对应的正是非支持向量的普通样本，从而所有的普通样本都不参与最终超平面的决定，这才是支持向量机最大的优势所在，对训练样本数目的依赖大大减少，而且提高了训练效率。

链接： https://www.zhihu.com/question/47746939/answer/154058298
 

高斯核函数（又叫径向基函数,RBF）可以映射到无穷维，原因是，高斯核函数是x^n...到无穷大的泰勒展开- 。- 

Q: 这个真的正确吗？？？一个e^x虽然展开成无穷维的x，但是系数不能改变啊。

A: 代码的实现细节中，高斯核函数使用了一个称为 地标(Landmark) 的概念来将其映射到一个固定的维度上。

 

这一篇文章写得特别详细，可以参考。http://www.devtalking.com/articles/machine-learning-14/

 

SVR也可以解决回归问题。

 

另外，SVM与神经网络以及其他的机器学习模型有很多相通的地方。 暂且不表。