![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习框架使用
文章平均质量分 61
会说话的七里香
这个作者很懒,什么都没留下…
展开
-
PyTorch学习率 warmup + 余弦退火
PyTorch学习率 warmup + 余弦退火Pytorch 余弦退火PyTorch内置了很多学习率策略,详情请参考torch.optim — PyTorch 1.10.1 documentation,这里只介绍常用的余弦退火学习率策略。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-noT4RJvn-1641352869753)(解决的问题记录-2021.assets/image-20220105105717934.png)]主要参数:optimizer:优化器,原创 2022-01-05 11:22:04 · 7745 阅读 · 1 评论 -
Pytorch 训练时卡在dataloader
Pytorch 训练时卡在dataloader1. 问题描述Traceback (most recent call last): File "train_cross_dataset.py", line 281, in <module> srocc_all[i], plcc_all[i] = solver.train() File "train_cross_dataset.py", line 129, in train img, label = next(iter_li原创 2021-12-30 11:53:28 · 1348 阅读 · 0 评论 -
Pytorch 内存泄漏
Pytorch 内存泄漏在训练的过程中发现,程序占用的内存以一定的速度增加,参考网上的资料发现,是由于在循环中 loss_list.append(loss)的时候没有使用loss.item(),导致每次迭代的时候loss的autograd的历史不断被保存,内存未被释放。参考链接:记一次Pytorch内存泄露的排查与处理pytorch训练过程内存泄漏...原创 2021-12-02 17:13:19 · 817 阅读 · 1 评论