4.1 深度学习（一）

最新推荐文章于 2022-08-06 10:27:03 发布

压力士

最新推荐文章于 2022-08-06 10:27:03 发布

阅读量223

点赞数

分类专栏：深度学习面经文章标签：深度学习神经网络 pytorch

原文链接：https://www.nowcoder.com/tutorial/95/2785805c26a549b2bbcf5e60cab5f61e

版权

深度学习面经专栏收录该内容

1 篇文章 0 订阅

订阅专栏

4.1 深度学习（一）

● BatchNormalization 的作用

参考回答：

神经网络在训练的时候随着网络层数的加深, 激活函数的输入值的整体分布逐渐往激活函数的取值区间上下限靠近, 从而导致在反向传播时低层的神经网络的梯度消失。而 Batch Normalization 的作用是通过规范化的手段, 将越来越偏的分布拉回到标准化的分布, 使得激活函数的输入值落在激活函数对输入比较敏感的区域, 从而使梯度变大, 加快学习收敛速度, 避免梯度消失的问题。

● 梯度消失

参考回答：

在神经网络中，当前面隐藏层的学习速率低于后面隐藏层的学习速率，即随着隐藏层数目的增加，分类准确率反而下降了。这种现象叫做消失的梯度问题。

● 循环神经网络，为什么好?

参考回答：

循环神经网络模型（RNN）是一种节点定向连接成环的人工神经网络，是一种反馈神经网络，RNN 利用内部的记忆来处理任意时序的输入序列，并且在其处理单元之间既有内部的反馈连接又有前馈连接，这使得 RNN 可以更加容易处理不分段的文本等。

● 什么是 Group Convolution

参考回答：

若卷积神将网络的上一层有 N 个卷积核, 则对应的通道数也为 N。设群数目为 M, 在进行卷积操作的时候, 将通道分成 M 份, 每个 group 对应 N/M 个通道, 然后每个 group 卷积完成后输出叠在一起, 作为当前层的输出通道。

● 什么是 RNN

参考回答：

一个序列当前的输出与前面的输出也有关, 在 RNN 网络结构中中, 隐藏层的输入不仅包括输入层的输出还包含上一时刻隐藏层的输出, 网络会对之前的信息进行记忆并应用于当前的输入计算中。

● 训练过程中, 若一个模型不收敛, 那么是否说明这个模型无效? 导致模型不收敛的原因有哪些?

参考回答：

并不能说明这个模型无效, 导致模型不收敛的原因可能有数据分类的标注不准确, 样本的信息量太大导致模型不足以 fit 整个样本空间。学习率设置的太大容易产生震荡, 太小会导致不收敛。可能复杂的分类任务用了简单的模型。数据没有进行归一化的操作。

● 图像处理中锐化和平滑的操作

参考回答：

锐化就是通过增强高频分量来减少图像中的模糊, 在增强图像边缘的同时也增加了图像的噪声。

平滑与锐化相反, 过滤掉高频分量, 减少图像的噪声是图片变得模糊。

● VGG 使用 3*3 卷积核的优势是什么?

参考回答：

2 个 33 的卷积核串联和 55 的卷积核有相同的感知野, 前者拥有更少的参数。多个 3*3 的卷积核比一个较大尺寸的卷积核有更多层的非线性函数, 增加了非线性表达, 使判决函数更具有判决性。

● Relu 比 Sigmoid 的效果好在哪里?

参考回答：

Sigmoid 的导数只有在 0 的附近时有较好的激活性, 而在正负饱和区域的梯度趋向于 0, 从而产生梯度弥散的现象, 而 relu 在大于 0 的部分梯度为常数, 所以不会有梯度弥散现象。Relu 的导数计算的更快。Relu 在负半区的导数为 0, 所以神经元激活值为负时, 梯度为 0, 此神经元不参与训练, 具有稀疏性。