- 博客(1)
- 收藏
- 关注
原创 BatchNorm和LayerNorm的区别
BN和LN的区别 BN是在维度方向进行切割,然后实现均值为0,方差为1。想象为对一个长方体竖着切割。比如对于图片来说,使用BN,可以理解为取出每个维度(特征)的图片,然后进行归一化操作。 LN是在Batch方向进行切割,而不是在维度方向进行切割,多用于语言处理等变长序列,想象为对一个长方体横着切割(横为seq长度n,纵为Batch),得到的是没一个样本完整的特征。因为seq不像图片,它是变长的,如果样本长度变化比较大,使用BN,每次计算的均值和方差抖动是比较大的,而且,做预测时,会记录下全局的均值和
2022-02-08 16:47:32 778
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人