Layer Normalization论文解读

基本信息

作者	JL Ba	doi
发表时间	2016	期刊	NIPS
网址	https://arxiv.org/abs/1607.06450v1

研究背景

1. What’s known 既往研究已证实
batch Normalization对属于同一个Batch中的数据长度要求是相同的，不适合处理序列型的数据。因此它在NLP领域的RNN上效果并不显著，但在CV领域的CNN上效果显著。
2. What’s new 创新点
层内正则化方法，不依赖batch的大小，Layer Normalization 的作用是把神经网络中隐藏层归一为标准正态分布。

3. What’s are the implications 意义
LN是一种有效的正则化方法，也解决了BN在处理RNN和流式数据时遇到的问题，推动了深度学习的进一步发展。

研究方法

1. 嵌入维度
每一行数据有三个特征，假设这三个特征是【身高、体重、年龄】。那么BN是针对每一列(特征)进行缩放，例如算出【身高】的均值与方差，再对身高这一列的10个数据进行缩放。体重和年龄同理。这是一种“列缩放”。
针对每个位置进行缩放，这不符合NLP的规律。
当Batch size很小的时候，BN的效果就非常不理想了。在很多情况下，Batch size大不了，因为GPU的显存不够。

2. Layer Normalization
在每一个样本上计算均值和方差；用每一列的每一个元素减去这列的均值，再除以这列的标准差，从而得到归一化后的数值。

对数据进行归一化处理（均值为0，标准差为1），把数据分布强制统一在一个数据分布下，而且这一步不是一开始做的，而是在每次进行下一层之前都需要做的。也就是说，在网络的每一层输入之前增加一个当前数据归一化处理，然后再输入到下一层网络中去训练。
把神经网络中隐藏层归一为标准正态分布，也就是 独立同分布，以起到加快训练速度，加速收敛的作用。

联合训练图片和句子embedding上的表现，模型使用的是RNN。可以看出，LN能加速收敛，比BN的效果好。

参考文章：论文笔记 ｜ Layer Normalization - 知乎
(zhihu.com)

结果与讨论

1. （LN）的主要作用是解决内部协变量偏移，使得数据收敛加快，并且能够提高模型泛化能力，提高训练速度和稳定性。

重要图

文献中重要的图记录下来