机器学习岗位面试问题汇总 之 SVM

自己结合网络、书本内容总结，欢迎指正欢迎补充。

更新日期：20170607—版本1

1.简述SVM
二分类模型、更严格优化条件—>更好分界线，低维—->高维，间隔最大的分割平面，不太容易过拟合（2个原因），多层感知机（sigmoid核），3种分类，2种求解方法

2.SVM的主要特点
（1）非线性映射-理论基础 （2）最大化分类边界-方法核心 （3）支持向量-计算结果 （4）小样本学习方法 （5）最终的决策函数只有少量支持向量决定，避免了“维数灾难” （6）少数支持向量决定最终结果—->可“剔除”大量冗余样本+算法简单+具有鲁棒性（体现在3个方面） （7）学习问题可表示为凸优化问题—->全局最小值 （8）可自动通过最大化边界控制模型，但需要用户指定核函数类型和引入松弛变量 （9）适合于小样本，优秀泛化能力（因为结构风险最小） （10）泛化错误率低，分类速度快，结果易解释

3.解释间隔最大化
几何间隔最大—–>充分大的确信度—–>对难分的

4.解释支持向量
线性可分情况下的定义+线性不可分情况下的定义
（1）线性可分SVM对SV的几种等价定义 （2）线性SVM对SV的几种等价定义 （3）比较线性可分SVM的SV的定义和线性SVM对于SV定义之间的区别与联系

5.SVM的推导
见《统计学习方法》或 笔记：函数间隔—>几何间隔—>几何间隔最大化—>函数间隔最大化—>令r^=1—> max 变 min—->拉格朗日函数—->求解对偶问题的3个步骤
（1）线性可分 （2）线性近似可分 （3）线性不可分

6.为什么要引入对偶问题
（1）容易求解 （2）核函数
Note：拉格朗日对偶没有改变最优解，但改变了算法复杂度：原问题—样本维度；对偶问题–样本数量。所以 线性分类&&样本维度<样本数量：原问题求解（liblinear默认）； 非线性–升维—一般导致 样本维度>样本数量：对偶问题求解

7.SVM的优缺点
优点：见主要特点
缺点：（1）大规模训练样本（m阶矩阵计算） （2）传统的不适合多分类 （3）对缺失数据、参数、核函数敏感

8.SVM的应用
模式识别领域中的文本识别、中文分类、人脸识别等；工程技术、信息过滤等。

9.如何选择核函数
（1）线性可分 （2）线性不可分（多项式~，高斯~，拉普拉斯~，sigmoid~）

10.RBF核的优点
大小高低都适用。具体来说（1）无穷维，线性核是其特例 （2）与多项式~比，RBF需确定的参数少 （3）某些参数下，与sigmoid~有相似的功能

11.核函数选取与feature、样本之间的关系
（1）fea大≈样本数量：LR or 线性核 （2）fea小，样本数量不大也不小：高斯核 （3）fea大，样本数量多：手工添加特征后转（1）

12.介绍你所知道的几种核函数
多项式~，高斯~，拉普拉斯~，sigmoid~；线性~

13.如何调节惩罚因子
惩罚因子C表示有多重视离群点带来的损失，当所有离群点的松弛变量和一定是，C越大，对目标函数的损失也就越大。
C不是一个变量，是需要参数寻优的常量。

14.如何防止SVM过拟合（提高泛化能力）
松弛变量的平方和？

15.SVM与LR的区别与联系
联系：（1）分类（二分类） （2）可加入正则化项
区别：（1）LR–参数模型；SVM–非参数模型？（2）目标函数：LR—logistical loss；SVM–hinge loss （3）SVM–support vectors；LR–减少较远点的权重 （4）LR–模型简单，好理解，精度低，可能局部最优；SVM–理解、优化复杂，精度高，全局最优，转化为对偶问题—>简化模型和计算 （5）LR可以做的SVM可以做（线性可分），SVM能做的LR不一定能做（线性不可分）

16.对偶问题的求解—SMO算法
见《统计学习方法》

参考：
《统计学习方法》，李航