深度学习小结

目录

1.BatchNormalization的作用

2.梯度消失

---

1.BatchNormalization的作用

神经网络在训练的时候随着网络层数的加深，激活函数的输入值的整体分布逐渐往激活函数的取值区间上下限靠近，从而导致在反向传播时底层的神经网络的梯度消失。而Batch Normalization的作用是通过规范化的手段，将越来越偏的分布拉回到标准化的分布，使得激活函数的输入值落在激活函数对输入比较敏感的区域，从而使梯度变大，加速学习收敛速度，避免梯度消失的问题。

2.梯度消失

在神经网络中，当前面隐藏层的学习速率低于后面隐藏层的学习速率，即随着隐藏层数目的增加，分类准确率反而下降啦。这种现象叫做消失的梯度问题。

3.循环神经网络，为什么好

循环神经网络模型(RNN)是一种节点定向连接成环的人工神经网络，是一种反馈神经网络，RNN利用内部的记忆来处理任意时序的输入序列，并且在其处理单元之间既有内部的反馈连接又有前馈连接，这使得RNN可以更加容易处理不分段的文本等。

4.什么是Group Convolution

若卷积神经网络的上一层有N个卷积核，则对应的通道数也为N。设群数目为M，在进行卷积操作的时候，将通道分成M份，每个Group对应N/M个通道，然后每个group卷积完成后