【Python-Keras】keras.layers.BatchNormalization解析与使用

最新推荐文章于 2025-02-26 14:03:26 发布

Better Bench

最新推荐文章于 2025-02-26 14:03:26 发布

阅读量1.6w

点赞数 6

分类专栏： Keras Python 文章标签：深度学习 batch normalization 批量标准化 keras

本文链接：https://blog.csdn.net/weixin_43935696/article/details/112214007

版权

77 篇文章

订阅专栏

21 篇文章

订阅专栏

本文介绍了BatchNormalization的基本概念及其在深度学习中的应用。BatchNormalization通过规范化神经元的输出来提高模型训练速度，并增强模型稳定性，减少过拟合风险。此外，本文还讨论了其在实际部署中的简单实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 什么是BatchNormalization?

（1）Batch Normalization 于2015年由 Google 提出数据归一化方法，往往用在深度神经网络中激活层之前。

（2）其规范化针对单个神经元进行，利用网络训练时一个 mini-batch 的数据来计算该神经元的均值和方差,因而称为 Batch Normalization。

（3）BatchNormalization层在每个batch上将前一层的激活值重新规范化，即使得其输出数据的均值接近0，其标准差接近1

（4）是Normalization 方法中的一种，其他方法有
Layer Normalization —— 横向规范化
Weight Normalization —— 参数规范化

（1）将输入神经网络的数据先对其做平移和伸缩变换，将数据分布规范化成在固定区间范围的标准分布

（2）可以加快模型训练时的收敛速度，使得模型训练过程更加稳定，避免梯度爆炸或者梯度消失

（3）并且起到一定的正则化作用，几乎代替了Dropout。控制过拟合，可以少用或不用Dropout和正则

（4）降低网络对初始化权重不敏感

（5）允许使用较大的学习率

在调用keras.layers.BatchNormalization 时，我们几乎不需要设定任何参数，只需要输入数据就好。

from tensorflow.python.keras.layers import *

input_bits = Input(shape=(256 ,))
temp = BatchNormalization()(input_bits)