机器学习面试 之 LR与SVM

第一部分：LR 与 SVM

• LR
  • LR的损失函数
  • LR的推导过程
  • LR如何解决共线性，为什么深度学习不强调
  • LR如何防止过拟合
  • LR分布式训练怎么做
  • LR为什么使用Sigmoid
  • LR为什么使用交叉熵，而不使用MSE
• SVM
  • SVM的推导过程
  • SVM的损失函数
  • SVM怎么扩展到多分类问题
  • SVM的原理/需要解决的数学问题是什么
  • SVM的类别
  • 简述软间隔
  • 简述核函数，如何选择？
• LR和SVM的区别

LR
1. LR的损失函数

2. LR的推导过程
　请参考第一题

3. LR如何解决共线性，为什么深度学习不强调
　1）PCA等降维方法。因为在原始特征空间中变量之间相关性大，降维可以去除这种共线性。
　2）正则化。使用L2或者L1或者L1+L2。
　3）逐步回归法。
　深度学习为什么不强调？因为共线性源于线性模型，深度学习本身不是线性问题。

4. LR如何防止过拟合
　1）增大训练数据量
　2）重新清洗数据（不纯）
　3）减少特征数量（会失去一些信息）
　4）正则化
　5）采用Dropout方法（NN中常用，神经元以一定的概率不工作）

5. LR分布式训练怎么做
　1）按行并行。样本拆分到不同机器上去，分布式计算梯度，然后归并求和再算平均。
　2）按列并行。将同一样本的不同特征也分不到不同机器去。

6. LR为什么使用Sigmoid
　1）平滑连续，单调可微分。
　2）输出值在[0, 1]之间，使其具有概率意义。

7. LR为什么使用交叉熵，不使用MSE
　更新太慢。（使用MSE时，MSE的导数里有sigmoid的导数，sigmoid的导数的最大值为0.25，更新太慢）
　
SVM
1. SVM的公式及推导


2. SVM的损失函数及推导

3. SVM怎么扩展到多分类问题
　间接法一对多：某个类为一类，其余类为一类
　间接法一对一：任意两类训练一个分类器

4. SVM的原理
　SVM是一种二类分类模型。它的基本模型是在特征空间中寻找间隔最大化的分离超平面的线性分类器。通过该超平面实现对未知样本集的分类。
　
5. SVM的类别

1. 当训练样本线性可分时。通过硬间隔最大化，学习一个线性分类器。
2. 当训练样本近似线性可分时。通过软间隔最大化，学习一个线性分类器。
3. 当训练样本线性不可分时。通过使用核技巧及软间隔最大化，学习非线性分类器。

6. 简述软间隔
　硬间隔：所有样本都必须划分正确
　软间隔：允许某些样本不满足约束（划分错误）
　
7. 简述核函数，好处，如何选择？

• 核函数定义：当原始样本空间内不存在超平面能够正确划分两类样本时，可将样本空间映射到一个更高维的特征空间。如果原始样本空间存在一个函数，它的作用等同于高维空间中做内积，即称为核函数。
• 好处：简化计算；可将非线性可分的数据转为线性可分数据
• 如何选择？

1. 利用专家先验知识来选择。
   线性核：特征的数量大，用线性核；
   高斯核：特征的数量小，用高斯核。
2. 交叉验证法。使用不同的核函数得到各自的误差，误差最小的效果最好。
3. 混合核函数方法。将不同的核函数结合起来。

LR和SVM的区别

1. LR是参数模型，SVM是非参数模型。
2. 从目标函数来看，区别在于逻辑回归采用的是logistical loss，SVM采用的是hinge loss.这两个损失函数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。
3. SVM的处理方法是只考虑support vectors，也就是和分类最相关的少数点，去学习分类器。而逻辑回归通过非线性映射，大大减小了离分类平面较远的点的权重，相对提升了与分类最相关的数据点的权重。
4. 逻辑回归相对来说模型更简单，好理解，特别是大规模线性分类时比较方便。而SVM的理解和优化相对来说复杂一些，SVM转化为对偶问题后,分类只需要计算与少数几个支持向量的距离,这个在进行复杂核函数计算时优势很明显,能够大大简化模型和计算。
5. logic 能做的 svm能做，但可能在准确率上有问题，svm能做的logic有的做不了。