svm相关知识

支持向量机的相关知识点*

1.SVM是一种二分类模型。它的基本模型是在特征空间中寻找间隔最大化的分离超平面的线性分类器。
2.支持向量机对噪音的敏感程度
当有少量噪音，噪音没有成为支持向量时，噪音对模型不产生影响，具有很好的鲁棒性
当有大量噪音，且噪音成为了支持向量，噪音对模型会有颠覆性的影响，不具备鲁棒性
3.SVM核函数意义、种类
意义：原始样本空间中可能不存在这样可以将样本正确分为两类的超平面，但是我们知道如果原始空间的维数是有限的，也就是说属性数是有限的，则一定存在一个高维特征空间能够将样本划分。SVM通过核函数将输入空间映射到高维特征空间，最终在高维特征空间中构造出最优分离超平面，从而把平面上本身无法线性可分的数据分开。核函数的真正意义是做到了没有真正映射到高维空间却达到了映射的作用，即减少了大量的映射计算。
种类：线性核
多项式核
高斯核
sigmoid核函数
4.SVM在大数据上有哪些缺陷
SVM的空间消耗主要是在存储训练样本和核矩阵，由于SVM是借助二次规划来求解支持向量，而求解二次规划将涉及m阶矩阵的计算（m为样本的个数），当m数目很大时该矩阵的存储和计算将耗费大量的及其内存和运算时间。如果数据量很大，SVM的训练时间就会比较长，所以SVM在大数据的使用中比较受限。
5.SVM之防止过拟合以及如何调节惩罚因子C
调小惩罚因子C,至于C大小的具体调参通常可以采用交叉验证来获得。每个松弛变量对应的惩罚因子可以不一样。
6.SVM中数据不均衡的处理方法
当正负类数量不均时，比如正负类数量比为100：1，则惩罚因子的比例直接就定为1:100（libsvm中就是这么做的）
7.SVM优缺点
优点：
1.非线性映射是SVM方法的理论基础,SVM利用内积核函数代替向高维空间的非线性映射；
2.对特征空间划分的最优超平面是SVM的目标,最大化分类边际的思想是SVM方法的核心；
3.支持向量是SVM的训练结果,在SVM分类决策中起决定作用的是支持向量；
4.SVM 的最终决策函数只由少数的支持向量所确定,计算的复杂性取决于支持向量的数目,而不是样本空间的维数,这在某种意义上避免了“维数灾难”。
5.小样本集上分类效果通常比较好。
6.少数支持向量决定了最终结果,这不但可以帮助我们抓住关键样本、“剔除”大量冗余样本,而且注定了该方法不但算法简单,而且具有较好的“鲁棒”性。
7.SVM 是一种有坚实理论基础的小样本学习方法。它基本上不涉及概率测度及大数定律等,因此不同于现有的统计方法。从本质上看,它避开了从归纳到演绎的传统过程,实现了高效的从训练样本到预报样本的“转导推理”,大大简化了通常的分类和回归等问题。

缺点：
1.SVM算法对大规模训练样本难以实施。
2.用SVM解决多分类问题存在困难。传统的SVM就是解决二分类问题的，上面有介绍不少解决多分类问题的SVM技巧，不过各种方法都一定程度上的缺陷。
3.对缺失值敏感，核函数的选择与调参比较复杂