Pytorch FrozenBatchNorm (BN)

最新推荐文章于 2024-04-20 19:38:36 发布
最新推荐文章于 2024-04-20 19:38:36 发布
阅读量1.9k 收藏 8
点赞数 4
文章标签： pytorch 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hxxjxw/article/details/127171047
版权

FrozenBatchNorm就是"weight" and "bias", "running_mean", "running_var”四个值固定住的BN

经典框架中一直使用的是FrozenBatchNorm2d。如Detectron，DETR,  mmdetection？见

检测框架中BN - 知乎 (zhihu.com)

"weight" and "bias", "running_mean", "running_var”四个值是buf，通过register_buffer设置不更新。

为什么要使用FrozenBatchNorm

BN层在CNN网络中大量使用，但是BN依赖于均值和方差，如果batch_size太小，计算一个小batch_size的均值和方差，肯定没有计算大的batch_size的均值和方差稳定和有意义，这个时候，还不如不使用bn层，因此可以将bn层冻结。另外，我们使用的网络，几乎都是在imagenet上pre-trained，完全可以使用在imagenet上学习到的参数。


而且，如果使用的是FrozenBatchNorm，多卡训练就不会有BN同步的问题了，那么多卡训练的性能理论上应该和单卡一样好了，注意这点

torchvision.ops.FrozenBatchNorm2d(num_features: int, eps: float = 1e-05)

hxxjxw
关注
Mask-RCNN(2) : 代码使用
@bangbang的博客
02-12 1601
当一个batch的长宽比率相差比较大的时候，我们真正输入网络的图片其实是很大的。，如果在验证的时候单张输入图片的话，那么我们输入网络的图片大小其实是和当前图片大小是一样的，此时我们对图片不需要太多处理。每隔10个epoch进行验证, 不过这样就没法获得保存每个epoch的验证结果，这样就没法根据每个epoch它的验证结果去绘制对应的曲线了。所以按照长宽比率进行排序之后，我们对它分组，然后再组内进行采样，这样我们输入网络的图片打包成batch它的大小会更小些，从而对。的，在目标检测中是没有使用到的。
pytorch模型冻结及BN层存在的坑
最新发布
m0_64148253的博客
07-12 661
这是因为BN层搞的鬼，BN层的参数（均值和方差）是在前向传播过程中更新的。注意：使用方法一时，一定要注意不要拼写错误，requires_grad拼写错误的话也不会报错，但是如果拼写错误的话就不能正常把梯度设置为False了，所以有的时候明明把requires_grad设置为False了却还是没有冻结住模型，去看看是不是单词拼写错了，我有好几次都是拼写错误导致模型没有冻结住但是没有及时发现。冻结模型常用的方法有两种，一种是将需要冻结的参数的梯度设置为False，另一种是只将不动结的参数传给优化器。
【pytorch】冻结网络踩坑
qq_42785704的博客
03-03 2036
普通conv和fc层的冻结方式： # 冻结参数 for i, p in enumerate(self.model.parameters()): if i <= 66: p.requires_grad = False # 验证一下是否成功冻结参数 for k, v in self.model.named_parameters(): print("k:{} v:{} ".format(k, v.requires_grad)) 注意：model.par
pytorch：子模型参数冻结 + BN冻结
薛定谔的猫头咕咕咕
05-27 2824
使用场景：需要完全冻结某部分的 weight   加载预训练模型时，如果只将 para.requires_grad = False ，并不能完全冻结模型的参数，因为模型中的 BN 层并不随 loss.backward() 与 optimizer.step() 来更新，而是在模型 forward 的过程中基于动量来更新，因此需要每个 forward 之前冻结 BN 层： 完整的冻结方式如下： # 冻结BN def freeze_bn(m): classname = ly.__class__.__na
pytorch bn 如何冻结 以及train 和val下区别
qq_17792451的博客
08-09 936
如何冻结 一般要冻结特征提取层（pretrain layer）的bn 还有一些自己定义的bn不应该冻结 因此在自己的model里重写train #示例程序 在自己写的model里添加 def train(self, mode=True): """ Override the default train() to freeze the BN parameters """ super(fintuneNet, self).train(m
pytorch冻结BN和一些moudel
baidu_40840693的博客
10-15 4775
pytorch知识点--[ pytorch ] ——基本使用：(3) finetune冻结层操作 + 学习率超参数设 Pytorch中的Batch Normalization layer踩坑 https://blog.csdn.net/xiaojiajia007/article/details/90115174 https://discuss.pytorch.org/t/free...
pytorch 在训练时固定BatchNormal层
qq_32478489的博客
06-26 1664
动机 想找到模型中所有的batchnormal 层并固定梯度，但是找了好久没有合适的方法，现在记录在下面 for m in model.modules(): if isinstance(m,nn.BatchNorm2d): for k,v in m.named_parameters(): v.requires_grad=False modules 可以返回模型中所有的子模型 isinstance 是python自带的判断对象类型的方
Pytorch：目标检测网络-人体关键点检测
Jingmin Wei's Blog
02-17 7190
使用R-CNN检测人体关键点。
Pytorch：目标检测网络-概述，指标计算和使用预训练网络
Jingmin Wei's Blog
02-17 1260
讲解了三大基本目标检测网络框架RCNN, SSD, YOLO。讲解了IoU计算，TP, FP, FN, TN四种样本，Precision, Recall指标，mAP计算。使用预训练的 Faster RCNN 完成目标检测与可视化结果。
batchnorm2d参数 torch_Pytorch自由载入部分模型参数并冻结
weixin_36670529的博客
03-08 795
Pytorch的load方法和load_state_dict方法只能较为固定的读入参数文件，他们要求读入的state_dict的key和Model.state_dict()的key对应相等。 而我们在进行迁移学习的过程中也许只需要使用某个预训练网络的一部分，把多个网络拼和成一个网络，或者为了得到中间层的输出而分离预训练模型中的Sequential 等等，这些情况下。传统的load方法就不是很有效了。 例如，我们想利用Mobilenet的前7个卷积并把这几层冻结，后面的部分接别的结构，或者改写成FCN结构
pytorch如何冻结某层参数的实现
12-23
在迁移学习finetune时我们通常需要冻结前几层的参数不参与训练，在Pytorch中的实现如下： class Model(nn.Module): def __init__(self): super(Transfer_model, self).__init__() self.linear1 = nn.Linear(20, 50) self.linear2 = nn.Linear(50, 20) self.linear3 = nn.Linear(20, 2) def forward(self, x): pass 假如我们想要冻结linear1层，需要做如下操作： mo
浅谈pytorch中的BN层的注意事项
09-16
主要介绍了浅谈pytorch中的BN层的注意事项，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch之添加BN的实现
09-18
今天小编就为大家分享一篇pytorch之添加BN的实现，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
maskrcnn-benchmark理解记录——R_50_FPN的module和各层维度
m0_37644085的博客
03-18 2826
Table of Contents 序、一些记录 一、先看GeneralizedRCNN A、backbone 1）ResNet 2）FPN #todo B、rpn 1）anchor_generator: 2）head #todo 3）box_selector_train（inference.py）#todo 4）box_selector_test C、rois_h...
pytorch冻结参数训练的坑
lishanlu136的博客
09-22 1221
pytorch冻结层遇到的坑，冻结Batchnorm层
预训练时候 Pytorch FrozenBatchNorm (BN)一些小心得
张齐贤的博客
12-16 2135
预训练时候 Pytorch FrozenBatchNorm (BN)一些小心得
Pytorch冻结预训练权重(特征提取与BN层)
计算机视觉的学习日常
11-22 3216
1. 读取预训练权重 pre_weights = torch.load(model_weights_path, map_location=device) 2. 读取预训练权重中与现有模型参数设置相同层的权重，可适用于修改了分类或某些层通道数的情况 net = yourmodel() pre_dict = {k: v for k, v in pre_weights.items() if net.state_dict()[k].numel() == v.numel()} # strict
更换目标检测的backbone（以Faster RCNN为例）_frozenbatchnorm2d
2301_82243078的博客
04-20 1029
roi_pooler = torchvision.ops.MultiScaleRoIAlign(featmap_names=[‘0’], # 在哪些特征层上进行RoIAlign pooling。output_size=[7, 7], # RoIAlign pooling输出特征矩阵尺寸。(img-46j4mFPs-1713613100508)]从而完成BackboneWithFPN的backbone的构建。sampling_ratio=2) # 采样率。
pytorch之添加BN
热门推荐
朴素.无恙的博客
10-29 1万+
pytorch之添加BN层 批标准化 模型训练并不容易，特别是一些非常复杂的模型，并不能非常好的训练得到收敛的结果，所以对数据增加一些预处理，同时使用批标准化能够得到非常好的收敛结果，这也是卷积网络能够训练到非常深的层的一个重要原因。 数据预处理 目前数据预处理最常见的方法就是中心化和标准化，中心化相当于修正数据的中心位置，实现方法非常简单，就是在每个特征维度上减去对应的均值，最后得到 0 均值的...
pytorch冻结bn
09-22
在PyTorch中，冻结Batch Normalization（BN）层的常见做法是将其设置为eval模式，并将其track_running_stats属性设置为False。这样做可以防止BN层参与训练过程中的梯度更新。以下是几种常见的冻结BN层的方法： 方法一： 在加载预训练模型时，需要使用以下代码来冻结BN层： ```python def freeze_bn(m): classname = m.__class__.__name__ if classname.find('BatchNorm') != -1: m.eval() model.apply(freeze_bn) ``` 这段代码会将模型中所有的BN层设置为eval模式，从而冻结它们的参数。 方法二： 如果在自己定义的模型中需要冻结特征提取层（pretrain layer）的BN层，可以按如下方式修改train函数： ```python def train(self, mode=True): super(fintuneNet, self).train(mode) if self.args.freeze_bn and mode==True: self.branch_cnn.apply(self.fix_bn) return self def fix_bn(self, m): classname = m.__class__.__name__ if classname.find('BatchNorm') != -1: m.eval() m.track_running_stats = False for name, p in m.named_parameters(): p.requires_grad = False ``` 这段代码会将模型中特征提取层的BN层设置为eval模式，并将其track_running_stats属性设置为False，同时将参数的requires_grad属性设置为False，从而冻结这些层的参数。 另外，可以阅读一篇名为"Pytorch BN(BatchNormal)计算过程与源码分析和train与eval的区别"的文章，该文章对PyTorch中BN层的计算过程以及train和eval模式的区别进行了详细分析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值