Pytorch深度学习小Tips
文章平均质量分 91
自我的深度学习的学习笔记,一些常用的、可认为是“定式”的小技巧解释
咕噜咕噜冰阔落
初夏吹的凉爽的风,从新绿的缝隙间带着湿润的香气
展开
-
Pytorch中如何动态设置学习率
在很多网络中,学习率一般是固定的。Pyorch中的torch.optim.lr_scheduler为我们封装好了一些在训练过程中动态调整学习率的方法。我们不妨试着用动态学习率,对比一下二者的不同,模型是否因为学习率的动态调整而变得更优秀。原创 2022-09-26 13:14:10 · 4581 阅读 · 0 评论 -
Pytorch加载数据集的方式总结
目前我们有自己制作的数据以及数据标签,但是有时候感觉不太适合直接用Pytorch自带加载数据集的方法。我们可以自己来重写定义一个类,这个类继承于,同时我们需要重写这个类里面的两个方法_getitem__()和__len()__函数。如下所示。这两种方法如何构造以及具体的细节可以查看其他的博客。len方法必须返回数据的长度,getitem方法必须返回数据以及标签。通过上述的程序,我们构造了一个数据加载器torch_data,但是还是不能直接传入网络中。接下来需要构造数据装载器,产生可迭代的数据。.......原创 2022-07-28 21:27:10 · 9865 阅读 · 4 评论 -
Pytorch加载模型权重理解(state_dict load_state_dict update load)
Pytorch加载模型权重理解(state_dict load_state_dict update load)一、state_dict特性介绍在pytorch中,torch.nn.Module模块中的state_dict变量存放训练过程中需要学习的权重和偏执系数,state_dict作为python的字典对象将每一层的参数映射成tensor张量,需要注意的是torch.nn.Module模块中的state_dict只包含卷积层和全连接层的参数,当网络中存在batchnorm时,例如vgg网络结构,t原创 2022-05-12 17:45:25 · 3509 阅读 · 2 评论