深度学习和机器学习——试题

问题1
写出常见的正则化和防止过拟合的技术，平时调参的经验
解答：
防止过拟合：

• early stopping
• 参数正则化

问题2
dropout为什么解决overfitting，L1和L2 regularization原理，为什么L1 regularization可以使参数优化到0， batch normalizatin为什么可以防止梯度消失爆炸；

问题3
模型欠拟合的解决方法

问题4
写出三个损失函数，并分析特点和使用场景

问题5
VGGNet,GoogleNet，Resnet的特点和对比

问题6
分析梯度弥散和梯度爆炸的原因，及其解决手段
答：
梯度爆炸的预防方案：L1或者L2正则化；
梯度爆炸的解决方案：梯度截断；
梯度消失的预防方案：LSTM结构；参数初始化；选用ReLU激活函数；正则化。

问题7
深度学习是否是万能的，深度学习未来发展的方向，你的观点

问题8
CNN做卷积的运算时间复杂度

问题9
LSTM结构推导，为什么比RNN好？

问题10
类别不平衡时怎么办？

问题11
Random forest和GBT描述；

问题12
random forest的算法描述+bias和variance的分解公式；

问题13
用EM理论推导GMM

问题14
SVM的dual problem推导

问题15
HMM原理

问题16
HMM和CRF的本质区别；

问题17
频率学派和贝叶斯派的本质区别；

问题18
常用的优化方法；

问题19
矩阵行列式的物理意义（行列式就是矩阵对应的线性变换对空间的拉伸程度的度量，或者说物体经过变换前后的体积比）

问题20
python写k-means

问题21
动态预测每个区域的用车需求量；

问题22
怎么样识别文本垃圾信息