批量归一化 Batch normalization

最新推荐文章于 2024-07-22 17:57:26 发布

小帅321

最新推荐文章于 2024-07-22 17:57:26 发布

阅读量225

点赞数

分类专栏：学习笔记文章标签： pytorch 神经网络深度学习

本文链接：https://blog.csdn.net/hlb941029/article/details/109716358

版权

学习笔记专栏收录该内容

12 篇文章 0 订阅

订阅专栏

本文探讨了批量归一化（Batch Normalization）在深度学习中的作用，它通过对每一层输入进行标准化处理，改善了梯度消失和爆炸问题。首先，数据在乘以权重W后进行批量均值和方差的减除，然后通过缩放（γ）和平移（β）调整，接着通过ReLU激活函数，最后得到下一层隐藏层的输入。批量归一化加速了神经网络的训练过程并提高了模型的泛化能力。

摘要由CSDN通过智能技术生成

在这里插入图片描述
[标准化出炉后的数据当作第一层的输入，标准化处理为均值为0，方差为1的特征数据]
现在我们加入批量归一化的操作，就是将乘完权重 W 后的数据 s 1
1

先减掉这一批量数据的均值和方差，得到 s 2
2

后再去进行缩放（乘以 γ ）和平移（加上 β ）。得到 s 3
3

后再经过一个 ReLU 函数，再得到 h 1
1

作为下一层（隐藏层第一层）的输入。
在这里插入图片描述