文章目录 1. 说明2. 长度不一致问题 1. 说明 Batch Normalization 的处理对象是对一批样本, Layer Normalization 的处理对象是单个样本。Batch Normalization 是对这批样本的同一维度特征做归一化, Layer Normalization 是对这单个样本的所有维度特征做归一化 2. 长度不一致问题 当单个样本的长度不一致时,就需要用到layerNorm 如上图所示,当样本1,2,3之间出现长度不同的时候,我们就得用LayerNorm来处理这个问题了。