多GPU训练踩坑

最新推荐文章于 2022-11-21 17:26:36 发布
最新推荐文章于 2022-11-21 17:26:36 发布
阅读量368 收藏 1
点赞数
分类专栏： Python 神经网络学习 文章标签： 深度学习 pytorch 神经网络 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42732137/article/details/107089744
版权

网络参数加载问题

之前训练网络是在多GPU上用训练的.

torch.nn.DataParallel(net, device_ids)

训练后保存的网络参数

torch.save(net.state_dict(), save_path)

测试时我用的单GPU测试，但是加载网络会报错，没有参数
Missing key(s) in state_dict: “…”

net.load_state_dict(torch.load(model_path)

解决方法

多GPU训练的网络，加载也要用

torch.nn.DataParallel(net, device_ids)
凌霜雪
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch多GPU并行训练教程及源码
10-16
多GPU启动指令说明： 1.如果要使用train_multi_gpu_using_launch.py脚本，使用以下指令启动 python -m torch.distributed.launch --nproc_per_node=8 --use_env train_multi_gpu_using_launch.py其中nproc_per_node...
windows系统下，多GPU，paddle，paddledetection如何指定，选择GPU进行训练
Vertira的博客
12-22 3987
针对主机上有多个GPU，一台主机多人使用。不得不指定GPU进行使用。 针对主动指定，选择某一个GPU进行训练的问题。 我再往上搜了很久，没有相关的解决问题。及时相关，也不适用。 我认真查看了一下源码。发现有设置GPU的地方。 我的paddledetection的位置： 每次用心都会执行这个文件。所以我专门阅读了这个train.py。在train.py的148行，快到文件的末尾了。 将上面的place = paddle.set_device('gpu')改成place = paddle..
torch进行多GPU卡训练时，报错RuntimeError: Address already in use
morein2008的专栏
10-14 1711
torch进行GPU卡训练时，报错RuntimeError: Address already in use参考：https://www.it610.com/article/1279180977062559744.htm问题在于，TCP的端口被占用，一种解决方法是，运行程序的同时指定端口，端口号随意给出：--master_port 29501例如：nohup python3 -m torch.di...
torch多GPU导致较大计算误差问题
Bruc_e__的博客
11-21 1001
torch多GPU导致较大计算误差问题
pytorch 细节 多GPU卡训练 一个可在windows单GPU独立运行的DDP
ResumeProject的博客
03-25 2216
解决方法一： 删除同名的jar依赖 解决方法二： 在web.xml中添加 java异常 java.lang.NoClassDefFoundError: org/slf4j/LoggerFactory下载地址 Caused by: org.springframework.beans.factory.BeanCreationException: Error creating bean with name ‘org.springframework.aop.support.DefaultBeanFacto
使用多GPU训练时遇到的问题
Noonebirdyou的博客
03-14 2159
问题描述 本次训练采用的是双GPU一起训练,代码如下 self.model = multi_gpu_model(self.model, gpus=2) self.model.compile(loss=self.loss, optimizer=optimizers.RMSprop(lr=1e-4), metrics=['ac...
keras实现多gpu数据并行训练
06-23
一个keras多gpu数据并行的demo，可以修改batch_size或gpu的数量来测试。
使用多GPU训练模型.md
04-06
使用多GPU训练模型.md
pytorch使用horovod多gpu训练的实现
09-16
主要介绍了pytorch使用horovod多gpu训练的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
关于pytorch多GPU训练实例与性能对比分析
09-18
今天小编就为大家分享一篇关于pytorch多GPU训练实例与性能对比分析，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch 多GPU训练 loss不能正常下降
zzz1515151的博客
06-05 5888
在使用pytorch的DataParallel进行多GPU并行训练过程中，参考了很多博客，其中两个博客的内容有误， 会导致多GPU训练时loss不能正常下降，且运行过程中不会有报错， 下面做简单的说明。 有问题的博客链接： https://blog.csdn.net/daniaokuye/article/details/79110365 https://blog.csdn.net/qq_19...
深度学习中多GPU训练
xiaojiajia007的博客
05-12 6624
先说我认为的结论，若夸卡训练中有统计数据同步（比如BN层的runing average 和 variance），这时单卡和多卡效果是一样的，只不过多卡增大了batch size，否则就不是严格的增大batch，因为统计数据可能不够准确。可以参考一下我摘录的小笔记，以BN层为对象，思考一下其他老师同学的回答： Pytorch Batch Normalizatin layer的坑 在实际应用中，增大b...
pytorch DistributedDataParallel 多卡训练结果变差的问题分析
哈哈哈博客
04-19 2689
DDP 数据shuffle 的设置 使用DDP要给dataloader传入sampler参数（torch.utils.data.distributed.DistributedSampler(dataset, num_replicas=None, rank=None, shuffle=True, seed=0, drop_last=False)） 。 默认shuffle=True，但按照pytorch DistributedSampler的实现： def __iter__(self) -> It
pytorch多gpu训练报错：RuntimeError: Caught RuntimeError in replica 0 on device 0.
slamdunkofkd的博客
11-30 1万+
在进行图卷积多gpu训练的时候，报了这样的错误。 最开始版本的代码使用的是：nn.DataParallel 来进行多gpu训练。 但是其缺点也很明显，对于其维护较差，优点就是只用一行代码。 首先为什么会产生这样的错误，在于gcn对于weight和bias使用了parameter 关键词，在parallel中，无法做到对parameter的并行，导致了一些问题。 后来痛定思痛，决定替换DataParallel 为DistributedDataParallel，可参考下面链接1。 然而，没有那么顺
为什么使用超算中心服务器单节点多GPU训练反而更慢
hunt_ing的博客
04-17 3012
注：pytorch训练图像算法 因为没有申请多个CPU核心导致CPU加载数据等问题成为瓶颈！！！！！！ 以此博客纪念逝去的两天光阴。 可以通过 top watch -n 1 nvidia-smi等查看硬件信息 一开始发现并没有怎么利用CPU资源以为不是CPU的问题，其实不然。。。 一开始我以为是cuda没装好 我以为是cudnn没装好 我以为是磁盘文件加载慢 我以为是torch版本太低 我以为是b...
tensorflow显存管理、tensorflow使用多个gpu训练
热门推荐
liulina603的专栏
05-03 3万+
 通常在程序开始之前并不知道需要多大的显存，程序会去申请GPU的显存的50% 比如一个8G的内存，被占用了2G，那么程序会申请4G的显存（因为有足够的剩余显存） 如果此时显存被占用7G，那么程序会申请剩下的所有的1G的显存。也许你的程序根本用不着这么多显存，200M也许就够了，这时候如果程序能按照需求去申请就好了，幸运的是，这样的方法是存在的： import tensorflow as t...
gluon 多gpu训练
最新发布
01-18
gluon是一种深度学习框架，它支持多GPU训练。在进行多GPU训练时，首先需要将数据进行并行化处理，然后在每个GPU上进行模型的训练和梯度更新。通常情况下，可以使用gluon提供的`gluon.Block`类来构建模型，并通过`...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值