BN原理、可训练参数、训练预测的时候分别怎么做

最新推荐文章于 2024-09-15 09:30:00 发布
最新推荐文章于 2024-09-15 09:30:00 发布
阅读量7.2k 收藏 13
点赞数 7
分类专栏： 深度学习 点滴 面试之CV基础知识
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24502469/article/details/104737427
版权

出处：

《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》

IID假设：

独立同分布假设：训练数据和测试数据的分布相同是训练的模型能够在测试集上获得好效果的保障

而BN就是使得在训练过程中每一层的输入都保持相同的分布

再者，随着网络的加深，训练变得更加困难，收敛越来越慢，而BN、ReLU、残差结构本质上都是为了解决这个问题的

ICS

从论文名字看BN只要是为了解决ICS问题，Internal Covariate Shift

Covariate Shift的概念：如果ML系统实例集合<X,Y>中的输入值X的分布老是变，这不符合IID假设，网络模型很难稳定的学规律

在训练过程中，隐层的输入分布老是变来变去，这就是所谓的“Internal Covariate Shift”，Internal指的是深层网络的隐层，是发生在网络内部的事情，而不是covariate shift问题只发生在输入层。

BN本质

因为深层神经网络在做非线性变换前的激活输入值随着网络深度加深或者在训练过程中，其分布逐渐发生偏移或者变动，之所以训练收敛慢，一般是整体分布逐渐往非线性函数的取值区间的上下限两端靠近（对于Sigmoid函数来说，意味着激活输入值WU+B是大的负值或正值），所以这导致反向传播时低层神经网络的梯度消失，这是训练深层神经网络收敛越来越慢的本质原因

BN的本质是对于每个隐层神经元，把逐渐向非线性函数映射后向取值区间极限饱和区靠拢的输入分布强制拉回到均值为0方差为1的比较标准的正态分布，使得非线性变换函数的输入值落入对输入比较敏感的区域，以此避免梯度消失问题。

因为梯度能保持比较大的状态，所以对神经网络的参数调整效率比较高，也就是说收敛地快，经过BN后，目前大部分Activation的值落入非线性函数的线性区内，其对应的导数远离导数饱和区，这样来加速训练收敛过程。

训练中的BN

对于Mini-batch SGD来说，这里x指的是W*input+b，变换公式是：

变换后某个神经元的激活x形成了均值为0，方差为1的正态分布，目的是把值往后续要进行的非线性变换的线性区拉动，增大导数值，增强反向传播信息流动性，加快训练收敛速度。但是这样会导致网络表达能力下降

所以，增加两个学习来的参数，用来对变换后的激活反变换，使得网络表达能力增强

在训练过程中，只能计算当前batch样本上的mean和var。但是我们做的normalization是对于整个输入样本空间，因此需要对每个batch的mean, var做指数加权平均来将batch上的mean和var近似成整个样本空间上的mean和var.

训练过程

测试时的操作

在训练结束后，网络的mean和std就固定住了，对于pytorch，执行model.eval（）

因为测试时计算batch的均值方差不适合（单样本的时候），因此会直接拿训练过程中对整个样本空间估算的mean和var直接来用。

BN的优点，为什么有效？

  • 不仅仅极大提升了训练速度，收敛过程大大加快；
  • 还能增加分类效果，一种解释是这是类似于Dropout的一种防止过拟合的正则化表达方式，所以不用Dropout也能达到相当的效果；
  • 另外调参过程也简单多了，对于初始化要求没那么高，而且可以使用大的学习率等

《How Does Batch Normalization Help Optimization?》中的结论：

BN可以防止梯度爆炸或弥散、可以提高训练时模型对于不同超参（学习率、初始化）的鲁棒性、可以让大部分的激活函数能够远离其饱和区域

BN能够work的真正原因在于BN重新改变了优化问题，使得优化空间变得非常平滑。

很多normalization的方法都可以达到BN的效果，甚至更好

BN与过拟合

BN并不能阻止过拟合，在某些情况下可以抑制

BN的本意是为了加速训练和收敛过程，而不是过拟合

在训练中，BN的使用使得一个mini-batch中的所有样本都被关联在了一起，一个batch数据中每张图片对应的输出都受到一个batch所有数据影响,这样相当于一个间接的数据增强,达到防止过拟合作用.

今 晚 打 老 虎
关注
专栏目录
BN的可训练参数，BN批归一化操作？
weixin_44808274的博客
09-07 390
批归一化（Batch Normalization，简称BN）是深度学习中常用的正则化技术之一，用于加速神经网络的训练并提高模型的泛化性能。BN操作本身没有可训练的参数，但在训练过程中会学习两个可训练参数：拉伸（scale）和偏移（shift）。这些可训练的参数（γ 和 β）允许模型根据数据的分布来动态地调整特征的缩放和平移，从而提高网络的训练效果和泛化性能。其中，y_ij 是最终的输出特征，γ_j 是可训练的缩放参数，β_j 是可训练的偏移参数。其中，ε 是一个小的常数，用于防止方差为零的情况。
UC2854BN的技术参数
12-12
产品型号:UC2854BN关断功能:Yes峰值输出驱动电流(A):1.200工作电流(mA):12关断电流 (μA):250启动电流 (μA):250频率Max (kHz):200操作电压Min (V):10操作电压Max (V):20封装/温度(℃):16PDIP/-40~85描述:增强型高...
BN在训练和测试时的差别
热门推荐
冰雪棋书的博客
01-06 3万+
BN在训练和测试时的差别 : 对于BN，在训练时，是对每一批的训练数据进行归一化。使用BN的目的就是每个批次分布稳定。当一个模型训练完成之后，它的所有参数都确定了，包括均值和方差，gamma和bata。 而在测试时，比如进行一个样本的预测，就并没有batch的概念，因此，这个时候用的均值和方差是全量训练数据的均值和方差，也就是使用全局统计量来代替批次统计量，这个可以通过移动平均法求得。具体做法是，训练时每个批次都会得到一组（均值、方差），然后对这些数据求数学期望！每轮batch后都会计算，也称为移动平均。
大模型三问？所谓的参数是什么？为什么需要训练？训练到底干了什么？
Everly_的博客
09-15 841
大模型的本质是机器学习，机器学习的本质就是一种数学模型。我们经常能听到这样的说法，某某大模型有多少参数，某某大模型参数量又提升了，这里所说的参数到底是什么？我们知道大模型是训练出来的，那么哪些训练数据都跑哪去了，大模型训练的过程中都干了什么？为什么大模型需要训练？‍‍。
深度学习与BN层融合：实现更高效的模型训练
AI天才研究院
12-31 2887
1.背景介绍 深度学习是一种人工智能技术，它通过模拟人类大脑中的神经网络结构来进行数据处理和模式识别。深度学习的核心是神经网络，神经网络由多个节点组成，这些节点可以进行线性和非线性计算。在深度学习中，我们通常使用卷积神经网络(CNN)和递归神经网络(RNN)等结构来处理图像和文本数据。 在深度学习模型的训练过程中，我们需要优化模型的参数，以便在给定的数据集上达到最佳的性能。这个过程通常使用梯度...
ResNet网络结构，BN以及迁移学习详解
pyscl01的博客
10-30 5233
ResNet残差结构详解，以及Batch Normalization和迁移学习的详解
python batch normalization_Batch Normalization 详解
weixin_39827850的博客
12-08 873
一、背景意义本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》，这个算法目前已经被大量的应用，最新的文献算法很多都会引用这个算法，进行网络训练，可见其强大之处非同一般啊。近年来深度学习捷报连连、声...
深度学习推理时融合BN，轻松获得约5%的提速
AIZOO人工智能乐园
03-29 649
批归一化（Batch Normalization）因其可以加速神经网络训练、使网络训练更稳定，而且还有一定的正则化效果，得到了非常广泛的应用。但是，在推理阶段，BN层一般是可以完全融合到...
实现对YOLOX的剪枝操作，添加了卷积层和BN层融合推理，添加中间层可视化功能，可实现预测和训练日志保存.zip
01-07
环境 pytorch 1.7 loguru 0.5.3 NVIDIA 1650 4G intel i5-9th torch-pruning 0.2.7 安装包 pip install torch_pruning
SN74ALS161BN的技术参数
12-11
为了全面了解SN74ALS161BN的技术参数，我们需要深入到集成电路的技术规格细节中，包括其电气特性、功能特性、引脚配置以及工作温度范围等。 首先，从芯片的型号SN74ALS161BN可以看出其属于德州仪器（Texas ...
SN74ALS03BN的技术参数
12-11
在讨论SN74ALS03BN的技术参数之前，我们首先要了解TTL的基本知识。 TTL（晶体管-晶体管逻辑）是一种数字逻辑集成电路技术，以其高速度和低功耗闻名。它在1960年代被发明，并广泛应用于早期的计算机和数字电子设备中...
SN74ALS38BN的技术参数
12-11
在深入探讨SN74ALS38BN的技术参数前，有必要先理解几个关键概念：集电极开路输出、正与非门以及封装类型和温度范围。 首先，集电极开路输出（Open Collector Output）是数字逻辑电路中的一种输出类型，它可以用于...
模型训练与测试 -----BN层（）
weixin_37721058的博客
08-23 3283
Feature normalization Feature scaliing 首先是为什么要归一化或者标准化，从下面可以看出来如果我们的输入的样本或者特征值，他们之间的差异比较大，那么其实我们的梯度下降图是畸形的。比如下面因为x1比x2小太多，所以梯度没有x2 那么浮夸。但是如果他们是一样的话，那么他们就有右边这样的东西了。所以为了好的梯度下降，我们需要针对不同的参数用不同的learning ra...
深度学习优化策略---炼丹trick之正确使用BN（训练和测试/预测时怎么用）
xys430381_1的专栏
12-20 1万+
一、为什么需要batch normalization 尽管梯度下降法训练神经网络很简单高效，但是需要人为地去选择参数，比如学习率，参数初始化，权重衰减系数，Dropout比例等，而且这些参数的选择对于训练结果至关重要，以至于我们很多时间都浪费到这些调参上。BN算法的强大之处在下面几个方面： 可以选择较大的学习率，使得训练速度增长很快，具有快速收敛性。 可以不去理会Dropout，L2正则项参数的...
BN使用总结及启发
alex1801
08-18 4745
Batch Normalization视神经网络的经典结构，本文对BN的引入，训练、推理过程及BN的特性，进行整理。 1、 数据预算处理（Data Preprocessing） 为什么输入数据需要归一化（Normalized Data） 归一化后有什么好处呢？原因在于： 1）神经网络学习过程本质就是为了学习数据分布，一旦训练数据与测试数据的分布不同，那么网络的泛化能力也大大降低； 2）另外一方面，一旦每批训练数据的分布各不相同(batch 梯度下降)，那么网络就要在每次迭代都去学习适应不.
BN对于训练集和测试集有什么区别？
weixin_43722561的博客
05-10 1115
BN对于训练集和测试集有什么区别？ ———————————————— 参考原文链接：https://blog.csdn.net/qq_35290785/article/details/95879067 Batch Normalization Batch Normalization（BN)，就是在深度神经网络训练过程中使得每一层神经网络的输入保持相近的分布. BN训练和测试时的区别 对于BN： 在训练时，是对每一批的训练数据进行归一化，也即用每一批数据的均值和方差。 在测试时，比如进行一个样本的预测，就并没有
批归一化（BN）在神经网络中的作用与原理
专注于全栈开发领域
04-11 2517
批归一化作为一种有效的神经网络技术，在加速训练、提高泛化能力等方面发挥了重要作用。在实际应用中，需要根据具体情况权衡其优缺点，选择合适的方法和参数设置。同时，对其原理和实现方式的深入理解，有助于更好地应用于实际问题中。
[知乎转载] BN的具体作用和过程
mian199614的博客
04-03 2267
作者：魏秀参 链接：https://www.zhihu.com/question/38102762/answer/85238569 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 1. What is BN? 顾名思义，batch normalization嘛，就是“批规范化”咯。Google在ICML文中描述的非常清晰，即在每次SGD时，通过mini-ba...
透彻理解BN(Batch Normalization)层
一璐有你的专栏
09-07 8186
什么是BN Batch Normalization是2015年论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》中提出的数据归一化方法，往往用在深度神经网络中激活层之前。其作用可以加快模型训练时的收敛速度，使得模型训练过程更加稳定，避免梯度爆炸或者梯度消失。并且起到一定的正则化作用，几乎代替了Dropout 批量归一化：通过减少内部协变量偏移来加速深度网络训练 由于每
怎么用代码求GIN模型的可训练参数量
最新发布
09-19
在计算一个神经网络模型，如生成式对抗网络 (GAN) 中 GIN (Graph Isomorphism Network) 的可训练参数量时，通常需要遍历模型的所有层，并统计每层的参数。假设你有一个简单的 Python 示例，使用 PyTorch 实现了一个 GIN 模型，你可以这样做： ```python import torch class GINConv(torch.nn.Module): # GIN 层示例 def __init__(self, in_features, out_features): super(GINConv, self).__init__() self.linear = torch.nn.Linear(in_features, out_features) self.bn = torch.nn.BatchNorm1d(out_features) self.mlp = torch.nn.Sequential( torch.nn.Linear(1, 1), torch.nn.ReLU(), torch.nn.Linear(1, out_features - in_features) ) def forward(self, x, edge_index, size=None): h = self.linear(x).mean(dim=1) # 对每个节点应用平均池化 h_prime = self.bn(h) m = self.mlp((h * h_prime).sum(dim=1)) # 计算特征融合 return x + m.unsqueeze(-1).repeat(1, size[1], 1) # 假设你有一个名为 model 的 GIN 模型实例 gin_model = YourGINModel() # 定义并实例化 GIN 模型 # 获取所有层的列表 all_layers = list(gin_model.modules()) # 初始化参数计数器 total_params = 0 for layer in all_layers: if isinstance(layer, torch.nn.Linear): # 如果是线性层 total_params += layer.weight.numel() + layer.bias.numel() elif isinstance(layer, torch.nn.BatchNorm1d): # 如果是 BatchNorm 层 total_params += layer.weight.numel() + layer.bias.numel() print(f"模型的总可训练参数量为: {total_params}")
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值