![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
pytorch
文章平均质量分 55
Hello**World
这个作者很懒,什么都没留下…
展开
-
单机多卡运行
DDP的demo示例。原创 2023-03-07 00:54:55 · 154 阅读 · 0 评论 -
optimizer.state_dict()和optimizer.param_groups的区别
pytorch包含多种优化算法用于网络参数的更新,比如常用的SGD、Adam、LBFGS以及RMSProp等。其中首句“所有优化器的基类” 表明所有的优化器都必须继承optimizer类,下面来分析optimizer类的的各个实例函数。转载 2022-10-23 20:56:32 · 1514 阅读 · 1 评论 -
模型的保存与加载与多gpu的模型保存和加载
要先判断下是否为数据并行的形式,多GPU情况下,需要调用model.module模块,再去保存模型参数state_dict。我理解model.module就是将多卡上的参数以及网络机构通过某种机制将其汇总成:只有一个网络结构,只有一套参数的模型结构。报错如下,意思就是梯度只能为标量(即一个数)输出隐式地创建。用model.module模块去保存模型。转载 2022-10-23 17:58:31 · 2092 阅读 · 0 评论