支持向量机知识点整理

1. SVM 知识框架
   
2. SVM的原理是什么？
   有别于感知机，SVM在特征空间中寻找间隔最大化的分离超平面的线性分类器
3. SVM为什么采用间隔最大化？
   超平面可以有无穷多个，但是几何间隔最大的分离超平面是唯一的，这样的分类结果也是鲁棒的，对未知实例的泛化能力最强。
4. 什么是支持向量？
   对于硬间隔，支持向量就是间隔边界上的样本点
   对于软间隔，支持向量就是间隔边界、间隔带内、分离超平面误分类一侧的样本点
   在确定分类超平面时只有支持向量起作用，因此SVM由很少的“重要的“训练样本确定
5. 为什么要将SVM的原始问题转化为对偶问题？
   更容易求解（引入拉格朗日乘子，将约束优化转化为无约束优化问题）
   引入核函数 ($\phi (x)\phi(x)$)，推广到非线性分类
6. 为什么要scale the inputs？（对数据进行归一化处理）
   SVM对特征规模非常敏感，如果不对特征进行规范化，会导致生成的间隔带依赖于scale大的那个特征，即生成不合适的svm
7. 为什么SVM对缺失数据敏感？
   不同于决策树,SVM没有处理缺失值的策略，它希望样本在特征空间中线性可分，所以特征空间的好坏对SVM的性能很重要
8. 什么是核函数？
   当样本在原始空间线性不可分时，可以将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。这个映射函数我们记为$\phi (x)$
   在原始问题的对偶问题中需要求解$\phi (x) \phi(y)$，直接计算比较困难，因此找一个核函数$k(x,y)=\phi(x)\phi(y)$，即在特征空间的内积等于它们在原始样本空间中进行核函数$k$计算
9. 常用的核函数有哪些，如何选择？
   
   • RBF核/高斯核 : k(xi,x