计算机视觉+人工智能面试笔试总结——深度学习基础题21~40

目录

21.如何选择dropout 的概率

22.dropout在神经网络中的应用

23.dropout具体工作流程

24.什么是 dropout?

25.对fine-tuning(微调模型的理解)，为什么要修改最后几层神经网络权值？

26.神经网络中权值共享的理解

27.Relu比Sigmoid效果好在哪里？

28.1*1 卷积的主要作用

29.RNN循环神经网络理解

30.训练过程中模型不收敛，是否说明这个模型无效，导致模型不收敛的原因

31.什么是梯度消失和爆炸

32.BN（批归一化）的作用

33.TensorFlow计算图概念

34.L1 和 L2 区别

35.如何判断模型是否欠拟合

36.欠拟合怎么解决

37.如何判断深度学习模型是否过拟合

38.什么造成梯度消失问题

39.什么样的数据集不适合深度学习

40.深度特征的层次性

---

21.如何选择dropout 的概率

input 的 dropout 概率推荐是 0.8， hidden layer 推荐是0.5， 但是也可以在一定的区间上取值。（All dropout nets use p = 0.5 for hidden units and p = 0.8 for input units.）
 

22.dropout在神经网络中的应用

(1). 在训练模型阶段

不可避免的，在训练网络中的每个单元都要添加一道概率流程

(2). 在测试模型阶段

预测模型的时候，输入是当前输入，每个神经单元的权重参数要乘以概率p。

23.dropout具体工作流程

以 标准神经网络为例，正常的流程是：我们首先把输入数据x通过网络前向传播，