(12)加载预训练模型之后loss先飙升后下降

最新推荐文章于 2023-03-20 20:07:36 发布
最新推荐文章于 2023-03-20 20:07:36 发布
阅读量1.8k 收藏 2
点赞数 1
分类专栏： python编程/PyTorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40227656/article/details/119684040
版权

参考：PyTorch模型加载与保存的最佳实践

 在训练yolov4时，加载预训练权重冻结主干参数训练50个epochs，然后解冻训练就出现了这种情况，使用的VOC2007+2012数据集。但是后来训练mobilenet-yolov4时，加载主干网络权重没有出现这种情况？

weixin_40227656
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
记录模型训练时loss值的变化情况
09-16
主要介绍了记录模型训练时loss值的变化情况，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
深度学习 loss下降后上升在下降_解读“深度学习最新进展(2020)” Part 5
weixin_39854681的博客
12-06 1094
5. Science of Deep Learning and Interesting Directions第五部分，介绍的是深度学习理论研究方面的新进展和有趣的方向。首先是一篇MIT的ICLR 2019 Best Paper《The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks》。The Lottery ...
2019.12.14
我的AI笔记
12-14 248
一、tensorflow 1.结果的可视化 莫烦大佬的代码如下： from __future__ import print_function import tensorflow as tf import numpy as np import matplotlib.pyplot as plt def add_layer(inputs, in_size, out_size, activation...
深度学习过程中测试准确率先上升后下降是为什么？
qq_51570094的博客
09-11 8068
在初始训练阶段，模型逐渐开始学习到一些信息，因而在验证集上的表现是提升的，在到达某一点后，模型接着训练则会更加的去关注一些细枝末节的东西，即模型表达更加多。1.早停，既然模型在某一点时达到最优，那么就设置模型在最优点附近停止训练。在整个训练过程中，虽然说模型出现了过拟合，但是其在训练集上的损失还是趋于平稳的，并不会说因为过拟合而导致损失波动。在训练过程中的验证准确率前上升，后下降，即在验证集上的表现先好后差。3.改变数据，使数据更加复杂，多变，适应模型，也能取得不错的效果。2.为模型增加惩罚项，即正则化。
深度学习 loss下降后上升在下降_Day203:学习率的设定
weixin_39519072的博客
12-04 1174
1、学习率目前深度学习使用的都是非常简单的一阶收敛算法，梯度下降法，不管有多少自适应的优化算法，本质上都是对梯度下降法的各种变形，所以，初始学习率对深层网络的收敛起着决定性的作用，下面就是梯度下降法的公式：α 就是学习率，如果学习率太小，会导致网络loss下降非常慢，如果学习率太大，那么参数更新的幅度就非常大，就会导致网络收敛到局部最优点，或不会收敛或者loss直接开始增加；如下图所示：学习率的选...
yolov5载入训练过的模型之后，loss会飙升的解决方法。
weixin_44588455的博客
03-20 1225
在train.py中,将代码修改如下情况即可（采用了余弦退火，同时承接了上次one_cycle的学习率最小值），便于继续训练。每次重新运行代码之后，学习率会重置，导致学习率过高从而开始升高损失。yolov5的学习率下降模型，是one_cycle.采用其他的学习率方法，如余弦退火，线性降低等。学习率又会有一次升高回落的过程。
解决Pytorch训练过程中loss不下降的问题
09-18
今天小编就为大家分享一篇解决Pytorch训练过程中loss不下降的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
开源mask rcnn分割模型训练loss下降图
04-03
开源mask rcnn分割模型训练loss下降图
keras做CNN的训练误差loss的下降操作
09-16
主要介绍了keras做CNN的训练误差loss的下降操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
深度学习 loss下降后上升在下降_性能变化像过山车，深度学习模型为何总是经历二次下降？...
weixin_39631689的博客
12-06 2881
在近日发表的一篇论文中，来自哈弗大学的研究者证明了在CNN、ResNet和transformer中会出现double descent(二次下降)现象:随着模型增大、数据增多或训练时间延长，模型性能先提高，接着会变差，继而再次提高。通常通过正则化来避免这种结果。虽然这种行为似乎相当普遍，但研究者仍未完全理解为什么会发生这种情况，因此认为对此现象的进一步研究很重要。研究显示，当不提前停止或不使用正则化...
(14)关于PyTorch训练深度学习模型CPU/GPU使用率低，训练速度慢这一问题的总结
weixin_40227656的博客
08-16 9983
电脑配置双2080Ti+i7-10700K，使用mobilenet-yolov4-lite训练VOC数据集时，训练100epochs要五六个小时，检测cpu和gpu的使用发现利用率都很低，说明没有充分使用电脑优秀的性能，两个显卡的使用率都分别只有20%-50%，查阅一些资料总结如下： １、参考：【深度学习】踩坑日记：模型训练速度过慢，GPU利用率低 上面作者指出四个提速技巧： 减少日志IO操作频率 使用pin_memory和num_workers 使用半精度训练 更好的显卡，更轻的模型 其中，第
（９）训练时报错KeyError: ‘conv1.1.0.weight‘
weixin_40227656的博客
07-17 8750
将B_mobilenet_yolov4_lite的PANet改为原来的3x3卷积，命名为L_mobilenet-yolov4_VOC，即将B_yolov4的主干网络换为mobilenet，训练时报错： Traceback (most recent call last): File "/home/lidan/PycharmProjects/yolov4/L_mobilenet-yolov4_VOC_0717/train.py", line 221, in <module> pret
(39)CUDA out of memory. Tried to allocate 76.00 MiB (GPU 0； 10.76 GiB total capacity； 8.45 GiB ...
weixin_40227656的博客
03-19 7374
问题描述： 在两块2080Ti显卡上训练去雾算法FFANet(gps=3, blocks=19)，batch=2恰好能够正常训练，训练结束进行模型测试，每次读取一张图片进行模型推理，结果报错显存不够： RuntimeError: CUDA out of memory. Tried to allocate 76.00 MiB (GPU 0; 10.76 GiB total capacity; 8.60 GiB already allocated; 75.19 MiB free; 8.61 GiB res
(37)TypeError: clamp(): argument ‘input‘ (position 1) must be Tensor, not int
weixin_40227656的博客
02-20 6612
问题描述：AODNet在计算ssim时，需要从test_loader中将测试集清晰的图像和去雾后的图像输入给ssim方法进行计算，从test_loader中加载图像对的原始代码如下： for (img_orig, img_dehaze) in enumerate(test_loader): ssim_test = ssim(img_orig, img_dehaze) 报错： Traceback (most recent call last): File "/home/PycharmPro
(17)PyTorch中计算模型的参数量(params)和浮点运算量(FLOPs)
weixin_40227656的博客
08-24 3840
方法１．使用summary test.py正确代码如下： import torch from torchsummary import summary from nets.yolo4 import YoloBody if __name__ == "__main__": # 需要使用device来指定网络在GPU还是CPU运行 device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') model
(30)tensorboard ValueError: Duplicate plugins for name projector
weixin_40227656的博客
11-30 2896
问题描述：之前用的好好的，训练的时候打开tensorboard报错tensorboard ValueError: Duplicate plugins for name projector，完整错误如下： Traceback (most recent call last): File "/home/.conda/envs/ultralytics_yolov3/bin/tensorboard", line 8, in <module> sys.exit(run_main()) F
(36)RuntimeError: Given groups=4, weight of size [4, 1, 11, 11], expected input xxxxxxxxx
weixin_40227656的博客
02-20 2730
问题描述： 在测试AODNet去雾网络时，计算测试集的指标ssim和psnr，从test_loader中读取测试集的清晰图像和去雾之后的图像，作为ssim的输入进行计算，原文代码如下： for iter_test, (img_orig, img_dehaze) in enumerate(test_loader): ssim_test = ssim(img_orig, img_dehaze) 其中，test_loader的部分代码如下： def __getitem__(self, index)
(31)get_map.py-Error. File not found: /home/PycharmProjects/input/ground-truth-3/000035.txt
weixin_40227656的博客
12-02 2698
使用改为两个检测头的代码计算VOC数据集的mAP，报错： /home/.conda/envs/ultralytics_yolov3/bin/python /home/PycharmProjects/yolov4/3-PA-tiny/get_map.py Error. File not found: /home/PycharmProjects/yolov4/3-PA-tiny/input/ground-truth-3/000035.txt (You can avoid this error message
(26)RuntimeError: Error(s) in loading state_dict for YoloBody:size mismatch for yolo_head3.1.weight
weixin_40227656的博客
09-06 2297
运行B_yolov4进行mAP计算的时候报错： RuntimeError: Error(s) in loading state_dict for YoloBody: size mismatch for yolo_head3.1.weight: copying a param with shape torch.Size([75, 256, 1, 1]) from checkpoint, the shape in current model is torch.Size([255, 256, 1, 1]).
加载部分预训练模型optimizer
最新发布
07-28
您好！感谢您的提问。为了加载部分预训练模型 optimizer，您可以执行以下步骤： 1. 首先，确保您已经安装了所需的深度学习框架（如PyTorch或TensorFlow）以及相应的优化器库（如torch.optim或tf.keras.optimizers）。 2. 在导入所需的深度学习库后，您可以创建您想要使用的优化器实例。例如，在PyTorch中，您可以使用以下代码创建一个Adam优化器的实例： ```python import torch import torch.optim as optim # 定义模型 model = YourModel() # 定义优化器 optimizer = optim.Adam(model.parameters(), lr=0.001) ``` 在TensorFlow中，您可以使用以下代码创建一个Adam优化器的实例： ```python import tensorflow as tf # 定义模型 model = YourModel() # 定义优化器 optimizer = tf.keras.optimizers.Adam(learning_rate=0.001) ``` 3. 在加载预训练模型之前，确保您已经加载了模型的权重参数。根据您使用的深度学习框架和模型类型，加载权重参数的方法可能会有所不同。 4. 一旦您已经加载了模型的权重参数并创建了优化器实例，您可以将优化器与模型绑定在一起，并在训练过程中使用它来更新模型的权重。例如，在PyTorch中，您可以使用以下代码将优化器与模型绑定： ```python # 将优化器与模型绑定 optimizer = optim.Adam(model.parameters(), lr=0.001) # 在训练过程中使用优化器更新模型的权重 optimizer.zero_grad() # 清零梯度 loss = compute_loss(model, data) # 计算损失 loss.backward() # 反向传播计算梯度 optimizer.step() # 更新模型的权重 ``` 在TensorFlow中，您可以使用以下代码将优化器与模型绑定： ```python # 将优化器与模型绑定 optimizer = tf.keras.optimizers.Adam(learning_rate=0.001) # 在训练过程中使用优化器更新模型的权重 with tf.GradientTape() as tape: logits = model(data) loss = compute_loss(logits, targets) grads = tape.gradient(loss, model.trainable_variables) optimizer.apply_gradients(zip(grads, model.trainable_variables)) ``` 这样，您就可以加载部分预训练模型 optimizer并使用它来更新模型的权重了。希望这些信息能对您有所帮助！如果还有其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值