Pytorch Parallel KeyError Bug

于 2022-04-08 23:50:38 发布
阅读量588 收藏
点赞数
分类专栏： Pytorch 文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45429089/article/details/124053537
版权

报错：

Traceback (most recent call last):                                                                                                                                                                                          
  File "train_point_corr.py", line 122, in <module>                                                                                                                                                                         
    main()                                                                                                                                                                                                                  
  File "train_point_corr.py", line 44, in main                                                                                                                                                                              
    return main_train(model_class_pointer, hparams, parser)                                                                                                                                                                 
  File "train_point_corr.py", line 111, in main_train                                                                                                                                                                       
    trainer.fit(model)                                                                                                                                                                                                      
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/site-packages/pytorch_lightning/trainer/trainer.py", line 499, in fit                                                                                                   
    self.dispatch()                                                                                                                                                                                                         
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/site-packages/pytorch_lightning/trainer/trainer.py", line 546, in dispatch                                                                                              
    self.accelerator.start_training(self)                                                                                                                                                                                   
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/site-packages/pytorch_lightning/accelerators/accelerator.py", line 73, in start_training                                                                                
    self.training_type_plugin.start_training(trainer)                                                                                                                                                                       
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/site-packages/pytorch_lightning/plugins/training_type/training_type_plugin.py", line 114, in start_training                                                             
    self._results = trainer.run_train()                                                                                                                                                                                     
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/site-packages/pytorch_lightning/trainer/trainer.py", line 637, in run_train                                                                                             
    self.train_loop.run_training_epoch()                                                                                                                                                                                    
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/site-packages/pytorch_lightning/trainer/training_loop.py", line 492, in run_training_epoch                                                                              
    batch_output = self.run_training_batch(batch, batch_idx, dataloader_idx)                                                                                                                                                
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/site-packages/pytorch_lightning/trainer/training_loop.py", line 631, in run_training_batch                                                                              
    split_batch, batch_idx, opt_idx, optimizer, self.trainer.hiddens                                                                                                                                                        
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/site-packages/pytorch_lightning/trainer/training_loop.py", line 742, in training_step_and_backward                                                                      
    result = self.training_step(split_batch, batch_idx, opt_idx, hiddens)                                                                                                                                                   
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/site-packages/pytorch_lightning/trainer/training_loop.py", line 293, in training_step
    training_step_output = self.trainer.accelerator.training_step(args)                                       
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/site-packages/pytorch_lightning/accelerators/accelerator.py", line 156, in training_step
    return self.training_type_plugin.training_step(*args)                                                     
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/site-packages/pytorch_lightning/plugins/training_type/dp.py", line 94, in training_step
    return self.model(*args, **kwargs)                 
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/site-packages/torch/nn/modules/module.py", line 722, in _call_impl
    result = self.forward(*input, **kwargs)                                                                   
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/site-packages/torch/nn/parallel/data_parallel.py", line 155, in forward
    outputs = self.parallel_apply(replicas, inputs, kwargs)                                                   
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/site-packages/torch/nn/parallel/data_parallel.py", line 165, in parallel_apply
    return parallel_apply(replicas, inputs, kwargs, self.device_ids[:len(replicas)])
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/site-packages/torch/nn/parallel/parallel_apply.py", line 85, in parallel_apply
    output.reraise()                                   
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/site-packages/torch/_utils.py", line 395, in reraise
    raise self.exc_type(msg)                           
KeyError: Caught KeyError in replica 0 on device 0.                                                           
Original Traceback (most recent call last):                                                                   
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/site-packages/torch/nn/parallel/parallel_apply.py", line 60, in _worker
    output = module(*input, **kwargs)                  
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/site-packages/torch/nn/modules/module.py", line 722, in _call_impl
    result = self.forward(*input, **kwargs)                                                                   
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/site-packages/pytorch_lightning/overrides/data_parallel.py", line 74, in forward
    output = super().forward(*inputs, **kwargs)                                                               
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/site-packages/pytorch_lightning/overrides/base.py", line 48, in forward
    output = self.module.training_step(*inputs, **kwargs)                                                     
  File "/home2/djc/DPC/models/shape_corr_trainer.py", line 60, in training_step
    batch = self(batch)                                
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/site-packages/torch/nn/modules/module.py", line 722, in _call_impl
    result = self.forward(*input, **kwargs)                                                                   
  File "/home2/djc/DPC/models/DeepPointCorr/CrossPointCorr.py", line 230, in forward
    # dense features, similarity, and cross reconstruction                                                    
  File "/home2/djc/DPC/models/DeepPointCorr/CrossPointCorr.py", line 130, in forward_source_target
    ###transformers                                    
  File "/home2/djc/DPC/models/DeepPointCorr/CrossPointCorr.py", line 118, in compute_cross_features
    src_pos=source_pe.transpose(0,1) if self.hparams.transformer_encoder_has_pos_emb else None,
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/site-packages/torch/nn/modules/module.py", line 722, in _call_impl
    result = self.forward(*input, **kwargs)                                                                   
  File "/home2/djc/DPC/models/sub_models/cross_attention/transformers.py", line 41, in forward
    src_pos=src_pos, tgt_pos=tgt_pos)                  
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/site-packages/torch/nn/modules/module.py", line 722, in _call_impl
    result = self.forward(*input, **kwargs)                                                                   
  File "/home2/djc/DPC/models/sub_models/cross_attention/transformers.py", line 256, in forward
    src_key_padding_mask, tgt_key_padding_mask, src_pos, tgt_pos)                                             
  File "/home2/djc/DPC/models/sub_models/cross_attention/transformers.py", line 214, in forward_pre
    src_w_pos = self.with_pos_embed(src2, src_pos)                                                            
  File "/home2/djc/DPC/models/sub_models/cross_attention/transformers.py", line 119, in with_pos_embed
    return tensor if pos is None else tensor + pos                                                            
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/traceback.py", line 197, in format_stack
    return format_list(extract_stack(f, limit=limit))                                                         
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/traceback.py", line 211, in extract_stack
    stack = StackSummary.extract(walk_stack(f), limit=limit)                                                  
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/traceback.py", line 360, in extract
    linecache.checkcache(filename)                     
  File "/home2/djc/anaconda3/envs/DPC/lib/python3.6/linecache.py", line 79, in checkcache
    del cache[filename]                                
KeyError: '/home2/djc/DPC/models/DeepPointCorr/CrossPointCorr.py'

关键报错：

KeyError: Caught KeyError in replica 0 on device 0. 
...
...
return format_list(extract_stack(f, limit=limit))
stack = StackSummary.extract(walk_stack(f), limit=limit) 
linecache.checkcache(filename)
del cache[filename]
KeyError: '/home2/djc/DPC/models/DeepPointCorr/CrossPointCorr.py'

bug出现特点：

  1. 非Parallel情况下不会出现此bug。
  2. 在运行此模型的时候，进行了相关的平凡修改模型。例如添加高参数，修改训练计划（training schedule options），测试模型等。

解决方法：
别在模型运行的时候修改、测试此模型，虽然理论上the running code should stick with the previous version instead the unpdated one，但是有这bug怎么办呢，运行程序的时候享受生活吧~lol

Reference:
When modified the model python file, the pytorch will raise the KeyError of this file #43120

SoaringPigeon
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
pandas DataFrame parallel_apply 处理数据时EOFError: Ran out of input
sb___itfk的专栏
06-23 1666
pandas DataFrame parallel_apply 处理数据时EOFError: Ran out of input
StyleGAN2_PyTorch:StyleGAN2 PyTorch 1.0.1
03-08
StyleGAN2的PyTorch实现（非官方） 该存储库包含以下论文的PyTorch实现： 分析和改善StyleGAN （StyleGAN2）的图像质量作者：Tero Karras，Samuli Laine，Miika Aittala，Janne Hellsten，Jaakko Lehtinen，Timo ...
pytorch官方文档示例代码报错KeyError: tensor(5)分析
JiajunSun的博客
07-14 1473
先写解决办法好习惯 把报错的一行 plt.title(labels_map[label]) 改成 plt.title(labels_map[label.item()]) 问题、报错分析： 最近复制了pytorch官方文档的一段代码做实验 # 这段代码在Tutorials>Datasers&Dataloaders import torch from torch.utils.data import Dataset from torchvision import datasets from to
pytorch 遇到的问题集锦
cmat2的博客
07-06 1563
1，numpy 在数据扩增的时做了flip或mirror等操作(::-1)，运行出现 解决方案： np.ascontiguousarray(input）或 input.copy() 即可。 原因是c++中对Numpy做的这种操作在pytorch中并未支持。 2，基于cv2的轮廓填充，去除最小面积，外接矩形操作方式： https://blog.csdn.net/u014...
torch, cuda, 单机多卡与DDP分布式
yichudu
11-24 2625
scatter()方法将一个batch的数据散列成若干份, 同 device 个数相等, 便于数据并行. 在单机多卡环境, pdb debug有印证.构造调用如 net = torch.nn.DataParallel(model, device_ids=[0, 1, 2]).报错显示 A10 型号的gpu较新, 我实际安装的的是 cuda_10.2, 重装 cuda_11.3 应该就好了.验证cuda {硬件, 驱动, 库} 是否就绪, 通过。简单讲, 高版本cuda兼容低版本硬件, 反之则不行.
PyTorch苹果程序举例
03-14
PyTorch苹果程序一般指的是在苹果设备（iPhone、iPad等）上运行的应用程序，这些应用程序可能利用PyTorch库实现深度学习模型的加载、推理和展示。具体来说，PyTorch在苹果设备上的应用可以通过以下方式实现： 1. **...
dbn pytorch
04-26
主要使用pytorch 实现的DBN网络，用于对数据做回归，单个数据维度为（N，21），其中N为不定长，输出则为（N,1），对应N个值
pytorch常用函数手册
03-07
PyTorch 是一个广泛应用于深度学习的开源框架，提供丰富的函数和工具来构建神经网络模型。以下是 PyTorch 常用函数手册的资源描述： 资源名称： PyTorch 常用函数手册 描述： 该手册整理了 PyTorch 中常用的函数、...
pytorch 状态字典:state_dict使用详解
09-18
今天小编就为大家分享一篇pytorch 状态字典:state_dict使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Python中KeyError: 的解决方法
学习永无止境
02-22 12万+
出现这种错误，首先要看一下你是否使用了字典，错误提示的意思是找不到对应的键值。 例如，给定如下字典： book_dict = {"price": 500, "bookName": "Python设计", "weight": "250g"} 若是查找字典中存在的key，则正常输出： print(book_dict["price"]) 运行结果如下： 若是查找字典中不存在的key，则报错： print(book_dict["sdfs"]) 如上所示，报错提示就是KeyError:。对于这种问题，可以使
Python字典查找报Keyerror解决方法
热门推荐
幸运的Alina的博客
07-18 29万+
Python的字典一般都直接查找key ，比如 dict={'a':1,'b':2,'c':3} print(dict['a']) 但是如果在查找的key不存在的时候就会报：KeyError: 比如你要查看print(dict['d']) 由于这个时候dict里面并没有这个key ,所以就会直接报错，那么这个时候其实python给我们提供了一种很棒的解决方法，那就是用 setdefa...
解决pytorch KeyError: ‘module name can’t contain “.”’
lv6572的博客
05-19 4000
高版本(0.4以上？）的pytorch不支持module name contain "."，一开始我安装torch版本是0.3.0，但是我使用pip install torchvision 后，torchvision==0.5.0 自动安装了更高版本的torch==1.14.0, 所以导致出现这个问题，解决办法卸载torch并重新安装： 我实在virtualbox虚拟机中执行 pip uninstall torch pip install ./torch-0.3.0.post4-cp27-cp27mu
pytorch加载模型报错KeyError: “filename ‘storages‘ not found“
GZKPeng的博客
12-15 6760
应用pytorch加载模型报错： Traceback (most recent call last): File "/mnt/sdc/OCR/dev/ocr/recognize/crnn_recognizer.py", line 110, in __init__ self.model.load_state_dict({k.replace('module.', ''): v for k, v in torch.load(model_path).items()}) File "/home/GZK
Python的KeyError的解决办法
莫非圣贤的博客
01-28 7501
介绍 福哥在编写python程序的时候比较喜欢用dict类型对象，尤其喜欢用多级dict数据结构。但是有个问题，如果调用一个不存在的元素就会报出KeyError异常，要在上下文里增加try … except太麻烦了，怎么办呢？ 今天给出一些判断dict类型对象是否包含某个键的元素的方法，大家可以根据自己的喜好选择使用。 解决办法 2.1 方法1通过in判断key是否存在 my = {"nick":"福哥","age":"35","languages":["c/c++","java","php","pytho
关于KeyError:‘ ‘问题的解决
weixin_43254438的博客
03-23 5万+
今天在使用python中的函数format的过程中有个很奇怪的错误：KeyError: 'name’ 在网上查了很久没有很明确的解决办法，后面查format函数使用才知道如何解决 例子如下： 解决办法是多加一层大括号 如果对你有帮助，给我点个赞吧 ...
python keyerror解决方案
spaark的博客
03-28 9463
在Python中，当你使用a[key]这种方式获取一个值时，若不存在这个此key时就会产生一个KeyError的错误。 education为数据集中某一列数据名 重新加载一下数据集这个问题就解决了 ...
pytorch安装SyntaxError: invalid syntax
最新发布
03-22
如果您在执行安装命令时遇到了"SyntaxError: invalid syntax"错误，可能是因为您使用的Python版本不符合PyTorch的要求。请确保您使用的是Python 3.6及以上版本，并且pip命令也是对应版本的pip。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SoaringPigeon

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值