【EDSR代码问题】【Pytorch1.1】ImportError: cannot import name '_update_worker_pids' from 'torch._C'

从5月3日开始，恢复Colab上的EDSR模型训练，文件dataloader.py开始报错：

ImportError: cannot import name '_update_worker_pids'
 
 

仔细看了下原来是Colab上默认pytorch版本变成了1.1，由于没试过Colab上pytorch版本回滚，而且可预见地认为更换版本会很麻烦（每次都需要改版本），因为尝试修改EDSR代码解决该问题。

看了下pytorch1.1的GitHub源码，将EDSR中的dataloader.py需要更改处整理如下：

1

 
 

   
   

    
    

   
   
   
   

    
    

     
     from torch._C 
     
     import _set_worker_signal_handlers, _update_worker_pids, \
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
         _remove_worker_pids, _error_if_any_worker_fails
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     from torch.utils.data.dataloader 
     
     import DataLoader
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     from torch.utils.data.dataloader 
     
     import _DataLoaderIter
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     from torch.utils.data.dataloader 
     
     import ManagerWatchdog
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     from torch.utils.data.dataloader 
     
     import _pin_memory_loop
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     from torch.utils.data.dataloader 
     
     import MP_STATUS_CHECK_INTERVAL
    
    
   
   

   
   

    
    

   
   
   
   

    
    
 
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     from torch.utils.data.dataloader 
     
     import ExceptionWrapper
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     from torch.utils.data.dataloader 
     
     import _use_shared_memory
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     from torch.utils.data.dataloader 
     
     import numpy_type_map
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     from torch.utils.data.dataloader 
     
     import default_collate
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     from torch.utils.data.dataloader 
     
     import pin_memory_batch
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     from torch.utils.data.dataloader 
     
     import _SIGCHLD_handler_set
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     from torch.utils.data.dataloader 
     
     import _set_SIGCHLD_handler
    
    
   
   
 
 

改为

 
 

   
   

    
    

   
   
   
   

    
    

     
     from torch._C 
     
     import _set_worker_signal_handlers
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     from torch.utils.data 
     
     import _utils
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     from torch.utils.data.dataloader 
     
     import DataLoader
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     from torch.utils.data.dataloader 
     
     import _DataLoaderIter
    
    
   
   

   
   

    
    

   
   
   
   

    
    
 
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     _use_shared_memory = 
     
     False
    
    
   
   
 
 

一定记住添加最后一行_use_shared_memory = False

---

2

        watchdog = ManagerWatchdog()
 
 

改为

        watchdog = _utils.worker.ManagerWatchdog()
 
 

---

3

 
 

   
   

    
    

   
   
   
   

    
    
            
     
     try:
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
                     r = index_queue.get(timeout=MP_STATUS_CHECK_INTERVAL)
    
    
   
   
 
 

改为

 
 

   
   

    
    

   
   
   
   

    
    
            
     
     try:
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
                     r = index_queue.get(timeout=_utils.MP_STATUS_CHECK_INTERVAL)
    
    
   
   
 
 

---

4

 
 

   
   

    
    

   
   
   
   

    
    
            
     
     except Exception:
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
                     data_queue.put((idx, ExceptionWrapper(sys.exc_info())))
    
    
   
   
 
 

改为

 
 

   
   

    
    

   
   
   
   

    
    
            
     
     except Exception:
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
                     data_queue.put((idx, _utils.ExceptionWrapper(sys.exc_info())))
    
    
   
   
 
 

---

5

                    target=_pin_memory_loop,
 
 

改为

                    target=_utils.pin_memory._pin_memory_loop,
 
 

---

6

 
 

   
   

    
    

   
   
   
   

    
    

     
                 _update_worker_pids(id(self), tuple(w.pid 
     
     for w 
     
     in self.workers))
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
                 _set_SIGCHLD_handler()
    
    
   
   
 
 

改为

 
 

   
   

    
    

   
   
   
   

    
    

     
                 _utils.signal_handling._set_worker_pids(id(self), tuple(w.pid 
     
     for w 
     
     in self.workers))
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
                 _utils.signal_handling._set_SIGCHLD_handler()
    
    
   
   
 
 

---

7

        collate_fn=default_collate
 
 

改为

        collate_fn=_utils.collate.default_collate
 
 

---

总结一下其实就是torch1.1发布者将很多之前需要从torch._C，torch.utils.data.dataloader等中引用的函数整合放入了torch.utils.data下的_utils中，从pytorch1.1起只需要from torch.utils.data import _utils即可。RCAN的dataloader.py和EDSR中的稍有差异，按照同样思路修改即可。

 

 

---

20190506补充：

在前边BUG调试好后又遇到问题：

ValueError: x and y must have same first dimension, but have shapes (59,) and (58,)
 
 

解决办法：

将trainer.py中所有的

self.optimizer.get_last_epoch() + 1
 
 

改为

self.optimizer.get_last_epoch()