BatchNorm与LayerNorm

qq_31941081

已于 2024-06-17 13:29:15 修改

阅读量291

点赞数 5

文章标签：深度学习

于 2024-05-31 11:03:38 首次发布

本文链接：https://blog.csdn.net/qq_31941081/article/details/139341736

版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

一、Norm是什么？
二、BatchNorm是什么？
三、LayerNorm是什么？
参考

一、Norm是什么？

不管是BatchNorm还是LayerNorm，核心在于Norm，Norm即Normalization（归一化），归一化是一种数据处理方式，能将数据经过处理后限制在某个固定范围内（一般[0,1]），将所有数据统一到一个量级下。数据归一化后，寻求最优解的过程会变得平缓，可以更快速的收敛到最优解。

二、BatchNorm是什么？

batch是深度学习中常见概念，指的是每次送进模型进行训练的数据，每个batch训练完会更新一次参数，每个batch包含的样本数量称为batchsize（1000个样本，batchsize10，一个epoch需要迭代100次，即会更新100次参数）。
BatchNorm是对一个batchsize内的每个特征做归一化，比如输入特征为2 200 100 256(batchsize h w c)，其中一个特征归一化即对2 200 100 1的数据进行归一化。
BatchNorm在CV领域应用广泛!

三、LayerNorm是什么？

LayerNorm是对每个样本的所有特征做归一化。比如输入特征为2 200 100 256(batchsize h w c)，每个样本的所有特征归一化即对1 200 100 256的数据进行归一化。
LayerNorm在NLP领域应用广泛!

参考

https://blog.csdn.net/weixin_49346755/article/details/127366789
https://blog.csdn.net/pipisorry/article/details/109192443
https://www.zhihu.com/search?type=content&q=batchnorm