百面机器学习——深度学习常见问题

一、前向神经网络
1、写出常用激活函数
2、神经网络是否可将参数全部初始化为0？
3、多层感知机表示异或逻辑需要多少个隐层？
4、什么是梯度消失和梯度爆炸？如何避免？
5、写出多层感知机的平方误差和交叉熵的损失函数
6、解释卷积操作中的稀疏交互和参数共享及其作用
7、一个隐层需要多少隐节点才能够实现包含n元输入的任意布尔函数？
8、多个隐层实现包含n元输入的任意布尔函数需要多少个节点和网络层？
9、ReLu系列的激活函数的优点是什么？有什么局限性？如何改进？
10、平方误差损失函数和交叉熵损失函数分别适合什么场景？
11、为什么dropout可以抑制过拟合？
12、批量归一化的基本动机和原理是什么？CNN如何进行归一化？
13、常用的池化操作有哪些？池化的作用是什么？
14、卷积神经网络如何用于文本分类？
15、ResNet的提出背景和核心理论是什么？
16、根据损失函数推导各层参数更新的梯度计算公式。

二、循环神经网络
循环神经网络与前馈神经网络相比有什么特点？
循环神经网络为什么会出现梯度消失和梯度爆炸？
LSTM如何实现长短期记忆功能？