pth文件的查看

本文介绍了一种调参策略:查看.pth文件了解模型权重,然后调整AdamW优化器的正则项以优化模型的准确率和收敛速度。通过在CPU环境下加载.pth文件并打印权重信息,作者尝试将正则项从5E-2改为5E-3,并等待训练结果验证效果。
摘要由CSDN通过智能技术生成

目录

前言

一、查看pth文件中参数的代码

 二、调整AdamW优化器正则项

总结


本文重点介绍了怎么在cpu环境下查看.pth文件,然后提出了一种基于权重文件调参提高准确率(acc)的思路。


前言

在训练模型找准确率最高的权重的过程中,会生成.pth文件,我想根据这个文件里面的权重的值,去调整本模型的AdamW优化器的正则项的值,已提升模型收敛的速度以及准确率。


一、查看pth文件中参数的代码

在cpu环境:

import torch

pthfile = r'./model-135.pth'            #.pth文件的路径
model = torch.load(pthfile, torch.device('cpu'))    #设置在cpu环境下查询
print('type:')
print(type(model))  #查看模型字典长度
print('length:')
print(len(model))
print('key:')
for k in model.keys():  #查看模型字典里面的key
    print(k)
print('value:')
for k in model:         #查看模型字典里面的value
    print(k,model[k])

运行结果:


 

 

 

 

 

 

 

 

(输出了所有层的权重,太多,此处省略一下)

 

 二、调整AdamW优化器正则项

 

pg = [p for p in model.parameters() if p.requires_grad]
optimizer = optim.AdamW(pg, lr = args.lr, weight_decay=5E-3)

 将原来的正则项5E-2调整为5E-3,提交服务器进行训练,若跑出来准确率提高,则说明此调参有效(待更新,刚刚提交的)。

总结

本文分享的是一种调参思路:通过查看已有的准确率最高的权重文件.pth,根据文件里面的权重值,调整本模型的AdamW优化器的正则项的值,以提升模型收敛的速度以及准确率。

P.S.苦苦思索提高准确率的办法,请不吝赐教,谢谢!

  • 30
    点赞
  • 135
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值