自定义BatchNormal中running mean与running var在nn.DataParallel下不更新的问题

已于 2024-03-26 11:09:24 修改
阅读量661 收藏
点赞数
文章标签： 计算机视觉 深度学习
于 2022-07-06 09:43:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_24424445/article/details/125625893
版权

问题描述

自定义实现一个类似BatchNormal的功能层，在单GPU情况下，动量更新变量running mean均值与running var方差可以正常随训练迭代累积更新，但换上多GPU环境（使用nn.DataParallel包装模型）时模型性能下降非常离谱，然后查看了一下那个BatchNormal层的running mean和running var，发现每次迭代都从初始的0和1开始，原本应该是累积更新的，而且最后在保存state_dict()时，保存的也是0和1

解决方案

找了好久都没找到有类似问题的，最后在PyTorch社区发现了

link

将=替换为.copy_

self.running_mean.copy_(...)
# instead of
self.running_mean = (...)
YuSuen
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
可视化pytorch 模型中不同BN层的running mean曲线实例
09-16
主要介绍了可视化pytorch 模型中不同BN层的running mean曲线实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
jQuery.Running.js.zip
04-27
jQuery.Running.js 是一个专门用于在网页中实现数字滚动效果的JavaScript库，它结合了CSS样式和JavaScript代码，为开发者提供了一种简单、高效的方式来创建动态展示数值变化的场景。在网页设计中，这种效果常见于...
pytorch batch norm的running_mean和running_var
grtwa的博客
08-24 2150
1、官方源码 def batch_norm(input : Tensor, running_mean : Optional[Tensor], running_var : Optional[Tensor], training : bool, momentum : float, eps : float) -> Tensor: if training: norm_mean, norm_var = torch.batch_norm_update_stats(in
关于Pytorch的parameters()里面，BN layer没有running_mean和running_var
Do not mess it up
02-13 7712
在Pytorch的parameters()里面，BN layer只有2个可学习的参数alpha和belta，没有running_mean和running_var这2个统计量 但是net.state_dict()是有running_mean和running_var的 因为running_mean和running_var不是可以学习的变量，只是训练过程对很多batch的数据统计   ref：h...
slim.batch_norm无法更新以及保存参数
DRACOYU的博客
01-22 1905
1、更新参数 当我们使用batch_norm时，slim.batch_norm中的moving_mean和moving_variance是无法更新的，当is_training = True时，意味着创建Update ops，利用当前batch的均值和方差去更新moving averages（即某层累计的平均均值和方差）。这里提供两种方式创建update_ops，   一是自己显式的创建upd...
Pytorch中BatchNorm中running_mean和running_var的计算方法
FY_2018的博客
08-28 8141
以下的过程中都是在train模式下进行的，并且没有进行损失计算和梯度更新， 但这个过程中running_mean和running_var会进行更新，所以也验证了 running_mean和running_var只受模型的模式（train模型或eval模型)的影响， 与是否进行反向传播(loss.backward)和梯度更新(optimiter.step)没有关系。 实验一： 1. 标准库函数的参数设置为 torch.nn.BatchNorm1d(linear1_features,momentum=0.1..
PyTorch——Batch Normalization（批量归一化）
beilizhang的博客
04-03 1万+
参考链接 https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter05_CNN/5.10_batch-norm Batch Normalization（BN）的作用 通常来说，数据标准化预处理对于浅层模型就足够有效了：处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近：这往往更容易训练出有效的模型。但对深层神经网络来说，即使输入数据已做标准化，训练中模型参数的更新依然很容易造成靠近输出层输出的剧烈变化。这
jQuery.Running.js响应式页面滚动数字增长动画插件
06-10
jQuery.Running.js是一款专为网页设计者打造的响应式页面滚动数字增长动画插件，它使得数字、柱状图和饼状图等数据在页面滚动时动态地展示变化，为用户带来更生动、直观的视觉体验。这款插件充分利用了jQuery库的...
Weight_Loss_Running_Pro_v6.8.11.apk
01-30
瘦下来与重量 损失正在运行的应用BY VERV 在谷歌播放专为第一运行应用的重量 损失。让您的跑步达到目标！华盛顿邮报，AppleInsider和赫芬顿邮报中的运行应用程序。 强烈关注WEIGHT LOSS 运行的重量 损失是一个...
Pytorch学习笔记——AlexNet模型
qq_44992157的博客
11-15 330
【代码】Pytorch学习笔记——AlexNet模型。
整理学习之Batch Normalization（批标准化）
你好
04-10 1万+
整理学习Batch Normalization
Torch 论文复现：结构重参数化 RepVGGBlock
荷碧TongZJ 的水文
07-20 4594
近年来，卷积神经网络的结构已经变得越来越复杂；得益于多分支结构良好的收敛能力，多分支结构越来越流行但是，使用多分支结构的时候，一方面无法有效地利用并行加速，另一方面增加了 MAC为了使简单结构也能达到与多分支结构相当的精度，在训练 RepVGG 时使用多分支结构 (3×3 卷积 + 1×1 卷积 + 恒等映射)，以借助其良好的收敛能力；在推理、部署时利用重参数化技术将多分支结构转化为单路结构，以借助简单结构极致的速度。
moco源码
weixin_41608864的博客
06-23 969
gpu_info = !nvidia-smi -i 0 gpu_info = '\n'.join(gpu_info) print(gpu_info) from datetime import datetime from functools import partial from PIL import Image from torch.utils.data import DataLoader from torchvision import transforms from torchvision.datas.
Batch Norm理解
Custom自定义
10-15 364
BN怎么计算（训练过程） 设有BN层，即一个BN层可学习的参数有和。 对一个mini-batch，。 第一步，计算当前batch的均值和方差（对同一层的所有节点）：； 第二步，进行规范化：； 第三步，进行平移和缩放：. BN的推理过程（如何加速BN？） 采用在训练过程中收集的全局统计量来代替均值和方差：,. 然后将上面两部分带入到中，得到： 早期解释 《Batch No...
pytorch BatchNorm参数详解，计算过程
weixin_39228381的博客
08-09 3万+
BatchNorm1d的参数： torch.nn.BatchNorm1d(num_features,eps=1e-05,momentum=0.1,affine=True,track_running_stats=True)
Pytorch的BatchNorm层使用中容易出现的问题
zhuiqiuk的专栏
03-03 9634
版权声明：本文为博主原创文章，保留著作权，未经博主允许不得转载。如有疑问请联系QQ:973926198 https://blog.csdn.net/LoseInVain/article/details/86476010 前言： 本文主要介绍在pytorch中的Batch Normalization的使用以及在其中容易出现的各种小问题，本来此文应该归属于[1]中的，但是考虑到此文的篇幅可能会比较大，...
详细解读nn.BatchNorm2d——批量标准化操作
热门推荐
北国觅梦
05-18 4万+
参考链接：完全解读BatchNorm2d归一化算法原理_机器学习算法那些事的博客-CSDN博客nn.BatchNorm2d——批量标准化操作解读_视觉萌新、的博客-CSDN博客_batchnormal2d 写着一篇博客的目的是为了彻底弄清楚里面具体是怎么计算的，同时也是因为有了太多的博客并没有深入理解，所以特地写一篇博客记录一下。也为了防止后来者脑壳疼。 如果有用的话，请记得点赞+关注哦 一、参数解读 torch.nn.BatchNorm2d(num_features, eps=1e-05, mo
running_mean和running_var
Ken的博客
08-13 7921
最近在看yolov4的pytorch源码，下面的这段代码，有些疑问，涉及到了running_mean和running_var def load_conv_bn(buf, start, conv_model, bn_model): num_w = conv_model.weight.numel() num_b = bn_model.bias.numel() bn_model.bias.data.copy_(torch.from_numpy(buf[start:start + num_b
pytorch 批量归一化BatchNorm1d和BatchNorm2d的用法、BN层参数 running_mean running_var变量计算 验证
qq_35608277的博客
01-11 4746
class torch.nn.BatchNorm1d(num_features, eps=1e-05, momentum=0.1, affine=True) 参数： num_features： 来自期望输入的特征数，C from an expected input of size (N,C,L) or L from input of size (N,L) eps： 为保证数值稳定性（分母不能趋近或取0）,给分母加上的值。默认为1e-5。 momentum： 动态均值和动态方差所使用的动量。默认为0.1
加载InpaintingModel_gen.pth预训练模型时出现：RuntimeError: Error(s) in loading state_dict for ContextEncoder: Missing key(s) in state_dict: "encoder.0.weight", "encoder.0.bias", "encoder.2.weight", "encoder.2.bias", "encoder.3.weight", "encoder.3.bias", "encoder.3.running_mean", "encoder.3.running_var", "encoder.5.weight", "encoder.5.bias", "encoder.6.weight", "encoder.6.bias", "encoder.6.running_mean", "encoder.6.running_var",...并且载入的模型为：class ContextEncoder(nn.Module): def init(self): super(ContextEncoder, self).init() # 编码器 self.encoder = nn.Sequential( nn.Conv2d(4, 64, kernel_size=4, stride=2, padding=1), nn.LeakyReLU(0.2, inplace=True), nn.Conv2d(64, 128, kernel_size=4, stride=2, padding=1), nn.BatchNorm2d(128), nn.LeakyReLU(0.2, inplace=True), nn.Conv2d(128, 256, kernel_size=4, stride=2, padding=1), nn.BatchNorm2d(256), nn.LeakyReLU(0.2, inplace=True), nn.Conv2d(256, 512, kernel_size=4, stride=2, padding=1), nn.BatchNorm2d(512), nn.LeakyReLU(0.2, inplace=True), nn.Conv2d(512, 512, kernel_size=4, stride=2, padding=1), nn.BatchNorm2d(512), nn.LeakyReLU(0.2, inplace=True), nn.Conv2d(512, 512, kernel_size=4, stride=2, padding=1), nn.BatchNorm2d(512), nn.LeakyReLU(0.2, inplace=True), nn.Conv2d(512, 512, kernel_size=4, stride=2, padding=1), nn.BatchNorm2d(512), nn.LeakyReLU(0.2, inplace=True), nn.Conv2d(512, 512, kernel_size=4, stride=2, padding=1), nn.BatchNorm2d(512), nn.LeakyReLU(0.2, inplace=True), nn.Conv2d(512, 512, kernel_size=4, stride=2, padding=1), nn.BatchNorm2d(512), nn.LeakyReLU(0.2, inplace=True), ) # 解码器 self.decoder = nn.Sequential( nn.ConvTranspose2d(512, 512, kernel_size=4, stride=2, padding=1), nn.BatchNorm2d(512), nn.ReLU(inplace=True), nn.ConvTranspose2d(512, 512, kernel_size=4, stride=2, padding=1), nn.BatchNorm2d(512), nn.ReLU(inplace=True), nn.ConvTranspose2d(512, 512, kernel_size=4, stride=2, padding=1), nn.BatchNorm2d(512), nn.ReLU(inplace=True), nn.ConvTranspose2d(512, 512, kernel_size=4, stride=2, padding=1), nn.BatchNorm2d(512), nn.ReLU(inplace=True), nn.ConvTranspose2d(512, 256, kernel_size=4, stride=2, padding=1), nn.BatchNorm2d(256), nn.ReLU(inplace=True), nn.ConvTranspose2d(256, 128, kernel_size=4, stride=2, padding=1), nn.BatchNorm2d(128), nn.ReLU(inplace=True), nn.ConvTranspose2d(128, 64, kernel_size=4, stride=2, padding=1), nn.BatchNorm2d(64), nn.ReLU(inplace=True), nn.ConvTranspose2d(64, 3, kernel_size=4, stride=2, padding=1), nn.Sigmoid(), ) def forward(self, x): x = self.encoder(x) x = self.decoder(x) return x 要怎么改
最新发布
05-11
根据报错信息可以看到，预训练模型中缺少了一些键对应的值，这些键是`self.encoder`中的权重和偏置参数。因此，我们需要在模型的`__init__`方法中对`self.encoder`的权重和偏置进行初始化，这样就可以让预训练模型的键和模型的键对应上。 具体来说，可以在`__init__`方法中添加如下代码： ``` self.encoder[0].weight = nn.Parameter(torch.zeros_like(self.encoder[0].weight)) self.encoder[0].bias = nn.Parameter(torch.zeros_like(self.encoder[0].bias)) self.encoder[2].weight = nn.Parameter(torch.zeros_like(self.encoder[2].weight)) self.encoder[2].bias = nn.Parameter(torch.zeros_like(self.encoder[2].bias)) self.encoder[3].weight = nn.Parameter(torch.zeros_like(self.encoder[3].weight)) self.encoder[3].bias = nn.Parameter(torch.zeros_like(self.encoder[3].bias)) self.encoder[5].weight = nn.Parameter(torch.zeros_like(self.encoder[5].weight)) self.encoder[5].bias = nn.Parameter(torch.zeros_like(self.encoder[5].bias)) self.encoder[6].weight = nn.Parameter(torch.zeros_like(self.encoder[6].weight)) self.encoder[6].bias = nn.Parameter(torch.zeros_like(self.encoder[6].bias)) self.encoder[6].running_mean = nn.Parameter(torch.zeros_like(self.encoder[6].running_mean)) self.encoder[6].running_var = nn.Parameter(torch.zeros_like(self.encoder[6].running_var)) ``` 这段代码中，我们对`self.encoder`的前7个卷积层的权重和偏置进行了初始化，并对第7个卷积层的`running_mean`和`running_var`也进行了初始化。这样，在加载预训练模型时，就可以正确地对应到模型的键，避免了报错。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值