机器学习与深度学习常见面试题（下）

其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。

• 书的购买链接
• 书的勘误，优化，源代码资源

原创声明：本文为SIGAI 原创文章，仅供个人学习使用，未经允许，不得转载，不能用于商业目的。

 

1、为什么随机森林能降低方差？

随机森林的预测输出值是多课决策树的均值，如果有n个独立同分布的随机变量  ，它们的方差都为  ，则它们的均值的方差为：

2、对于带等式和不等式约束的优化问题，KKT条件是取得极值的充分条件还是必要条件？对于SVM呢？

对于一个一般的问题，KKT条件是取得极值的必要条件而不是充分条件。对于凸优化问题，则是充分条件，SVM是凸优化问题

 

3、解释维数灾难的概念

当特征向量数理很少时，增加特征，可以提高算法的精度，但当特征向量的维数增加到一定数量之后，再增加特征，算法的精度反而会下降

 

4、Logistic回归为什么用交叉熵而不用欧氏距离做损失函数？

如果用欧氏距离，不是凸函数，而用交叉熵则是凸函数

 

5、解释hinge loss损失函数

如果样本没有违反不等式约束，则损失为0；如果违反约束，则有一个正的损失值

 

6、解释GBDT的核心思想

用加法模拟，更准确的说，是多棵决策树树来拟合一个目标函数。每一棵决策树拟合的是之前迭代得到的模型的残差。求解的时候，对目标函数使用了一阶泰勒展开，用梯度下降法来训练决策树

 

7、解释XGBoost的核心思想

在GBDT的基础上，目标函数增加了正则化项，并且在求解时做了二阶泰勒展开

 

8、解释DQN中的经验回放机制，为什么需要这种机制？

将执行动作后得到的状态转移构造的样本存储在一个列表中，然后从中随机抽样，来训练Q网络。为了解决训练样本之间的相关性，以及训练样本分布变化的问题

 

9、什么是反卷积？

反卷积也称为转置卷积，如果用矩阵乘法实现卷积操作，将卷积核平铺为矩阵，则转置卷积在正向计算时左乘这个矩阵的转置  ，在反向传播时左乘W，与卷积操作刚好相反，需要注意的是，反卷积不是卷积的逆运算

 

10、反卷积有哪些用途？

实现上采样；近似重构输入图像，卷积层可视化

 

11、PCA（主成分分析）优化的目标是什么？

最小化重构误差/最大化投影后的方差

 

12、LDA（线性判别分析）优化的目标是什么？

最大化类间差异与类内差异的比值

 

13、解释神经网络的万能逼近定理

只要激活函数选择得当，神经元的数理足够，至少有一个隐含层的神经网络可以逼近闭区间上任意一个连续函数到任意指定的精度

 

14、softmax回归训练时的目标函数时凸函数吗？

是，但有不止一个全局最优解

 

15、SVM为什么要求解对偶问题？为什么对偶问题与原问题等价？

原问题不容易求解，含有大量的不易处理的不等式约束。原问题满足Slater条件，强对偶成立，因此原问题与对偶问题等价

 

16、神经网络是生成模型还是判别模型？

判别模型，直接输出类别标签，或者输出类后验概率p(y|x)

 

17、logistic回归是生成模型还是判别模型？

判别模型，直接输出类后验概率p(y|x)，没有对类条件概率p(x|y)或者联合概率p(x, y)建模

 

18、对于支持向量机，高斯核一般比线性核有更好的精度，但实际应用中为什么一般用线性核而不用高斯核？

如果训练样本的量很大，训练得到的模型中支持向量的数量太多，在每次做预测时，高斯核需要计算待预测样本与每个支持向量的内积，然后做核函数变换，这会非常耗；而线性核只需要计算

 

19、高斯混合模型中，为什么各个高斯分量的权重之和要保证为1？

为了保证这个函数时一个概率密度函数，即积分值为1

 

20、介绍beam search算法的原理

这是一种解码算法，每次选择概率最大的几个解作为候选解，逐步扩展

 

21、介绍seq2seq的原理

整个系统由两个RNN组成，一个充当编码器，一个充当解码器；编码器依次接收输入的序列数据，当最后一个数据点输入之后，将循环层的状态向量作为语义向量，与解码器网络的输入向量一起，送入解码器中进行预测

 

22、介绍CTC的原理

CTC通过引入空白符号，以及消除连续的相同符号，将RNN原始的输出序列映射为最终的目标序列。可以解决对未对齐的序列数据进行预测的问题，如语音识别

 

23、介绍广义加法模型的原理

广义加法模型用多个基函数的和来拟合目标函数，训练的时候，依次确定每个基函数

 

24、为什么很多时候用正态分布来对随机变量建模？

现实世界中很多变量都服从或近似服从正态分布。中心极限定理指出，抽样得到的多个独立同分布的随机变量样本，当样本数趋向于正无穷时，它们的和服从正态分布

 

25、Batch Normalization 和 Group Normalization有何区别？

BN是在batch这个维度上进行归一化，GN是计算channel方向每个group的均值和方差

 

26、GAN中模型坍塌（model collapse）是指什么？

模型坍塌，即产生的样本单一，没有了多样性。

 

27、 目前GAN训练中存在的主要问题是什么？

（1）训练不易收敛（2）模型坍塌  

 

28、Shufflenet为什么效果会好？

通过引入“通道重排”增加了组与组之间信息交换

 

29、模型压缩的主要方法有哪些？

（1）从模型结构上优化：模型剪枝、模型蒸馏、automl直接学习出简单的结构

（2）模型参数量化将FP32的数值精度量化到FP16、INT8、二值网络、三值网络等

​

30、目标检测中IOU是如何计算的？

检测结果与Ground Truth 的交集比上它们的并集，即为检测的准确率<