damaomiya的博客

原创 nn.BatchNorm 和nn.LayerNorm详解

BatchNorm和LayerNorm两者都是将张量的数据进行标准化的函数，区别在于BatchNorm是把一个batch里的所有样本作为元素做标准化，类似于我们统计学中讲的“组间”。layerNorm是把一个样本中所有数据作为元素做标准化，类似于统计学中的“组内”。下面直接举例说明。首先我这里定义了一个shape为（2,3,2,2）的一个数据。对应（N,C,H,W）表示我这一堆数据中有2个样本，每个样本是一个通道数（channel）为3，长宽为2的图片。如下图。#设置Batc