机器学习与Deep Learning算法问题汇总（Part-3）

11. 怎么解决过拟合和欠拟合？

答：（1）过拟合：

1）增加训练数据，数据增广。一般有如下方法：从数据源头采集更多数据；复制原有数据并加上随机噪声；重采样；根据当前数据集估计数据分布参数，使用该分布产生更多数据等。

2）正则化：L1正则和L2正则；增大正则项参数。

3）dropout。

4）batch normalizatin。

5）交叉验证，通过交叉检验得到较优的模型参数。

6）特征选择，减少特征数或使用较少的特征组合，对于按区间离散化的特征，增大划分的区间。

7）早停策略，选择合适的训练次数，避免训练的网络过度拟合训练数据。

（2）欠拟合：

1）增加新特征，可以考虑加入进特征组合、高次特征，来增大假设空间。

2）加深网络深度，使用更复杂的DNN。

3）尝试非线性模型，比如核SVM 、决策树、DNN等模型。

4）减小正则项参数。

12. dropout的原理是什么，为什么能够解决过拟合？

答：在训练开始时，随机删除一些（可以设定为一半，也可以为1/3，1/4等）隐藏层神经元，即认为这些神经元不存在，同时保持输入层与输出层神经元的个数不变。然后按照BP学习算法对CNN中的参数进行学习更新（临时删除的单元不更新）。这样一次迭代更新便完成了。下一次迭代中，同样随机删除一些神经元，与上次不一样，做随机选择。
Dropout方法是通过修改CNN中隐藏层的神经元个数来防止CNN的过拟合。

13. CNN最成功的应用是在CV，那为什么NLP和Speech的很多问题也可以用CNN解出来？为什么AlphaGo里也用了CNN？这几个不相关的问题的相似性在哪里？CNN通过什么手段抓住了这个共性？

答：以上几个不相关问题的相关性在于，都存在局部与整体的关系，由低层次的特征经过组合，组成高层次的特征，并且得到不同特征之间的空间相关性。如下图：低层次的直线／曲线等特征，组合成为不同的形状，最后得到汽车的表示。

CNN抓住此共性的手段主要有四个：局部连接／权值共享／池化操作／多层次结构。

局部连接使网络可以提取数据的局部特征；权值共享大大降低了网络的训练难度，一个Filter只提取一个特征，在整个图片（或者语音／文本） 中进行卷积；池化操作与多层次结构一起，实现了数据的降维，将低层次的局部特征组合成为较高层次的特征，从而对整个图片进行表示。

14. LR和SVM对比。

答：首先，LR和SVM最大的区别在于损失函数的选择，LR的损失函数为Log损失（或者说是逻辑损失都可以）、而SVM的损失函数为hinge loss。 

 

其次，两者都是线性模型。 

最后，SVM只考虑支持向量（也就是和分类相关的少数点） 

15. Boosting之AdaBoost 

答：Boosting的本质实际上是一个加法模型，通过改变训练样本权重学习多个分类器并进行一些线性组合。而Adaboost就是加法模型+指数损失函数+前项分布算法。Adaboost就是从弱分类器出发反复训练，在其中不断调整数据权重或者是概率分布，同时提高前一轮被弱分类器误分的样本的权值。最后用分类器进行投票表决（但是分类器的重要性不同）。