本文介绍了深度学习中两种重要的规范化方法——批量规范化和层规范化。批量规范化通过对中间层的单个神经元规范化，而层规范化则是对整个中间层的所有神经元进行规范化。这两种技术能有效加速网络训练，提高模型稳定性和性能。实验表明，它们在MNIST数据集上的卷积网络应用中表现出色。
7.5 逐层规范化（Layer-wise Normalization）
将传统机器学习中的数据规范化方法应用到深度神经网络中，对神经网络中隐藏层的输入进行规范化，从而使得网络更容易训练。
下面介绍两种比较常用的逐层规范化方法：
- 批量规范化（Batch Normalization）
- 层规范化（Layer Normalization）
7.5.1 批量规范化
7.5.1.1 BatchNorm算子
7.5.1.2 支持逐层规范化的MLP算子
7.5.1.3 内部协变量偏移实验
7.5.1.4 均值和方差的移动平均计算实验
7.5.1.5 在MNIST数据集上使用带批量规范化的卷积网络
7.5.2 层规范化
层规范化（Layer Normalization）和批量规范化是非常类似的方法，它们的区别在于：
批量规范化对中间层的单个神经元进行规范化操作，
层规范化对一个中间层的所有神经元进行规范化。
7.5.2.1 LayerNorm算子
7.5.2.2 层规范化的验证实验
扫一扫
457
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
