【EDSR代码问题】【Pytorch1.1】ImportError: cannot import name '_update_worker_pids' from 'torch._C'

从5月3日开始，恢复Colab上的EDSR模型训练，文件dataloader.py开始报错：

ImportError: cannot import name '_update_worker_pids'

仔细看了下原来是Colab上默认pytorch版本变成了1.1，由于没试过Colab上pytorch版本回滚，而且可预见地认为更换版本会很麻烦（每次都需要改版本），因为尝试修改EDSR代码解决该问题。

看了下pytorch1.1的GitHub源码，将EDSR中的dataloader.py需要更改处整理如下：

1

from torch._C import _set_worker_signal_handlers, _update_worker_pids, \
    _remove_worker_pids, _error_if_any_worker_fails
from torch.utils.data.dataloader import DataLoader
from torch.utils.data.dataloader import _DataLoaderIter
from torch.utils.data.dataloader import ManagerWatchdog
from torch.utils.data.dataloader import _pin_memory_loop
from torch.utils.data.dataloader import MP_STATUS_CHECK_INTERVAL

from torch.utils.data.dataloader import ExceptionWrapper
from torch.utils.data.dataloader import _use_shared_memory
from torch.utils.data.dataloader import numpy_type_map
from torch.utils.data.dataloader import default_collate
from torch.utils.data.dataloader import pin_memory_batch
from torch.utils.data.dataloader import _SIGCHLD_handler_set
from torch.utils.data.dataloader import _set_SIGCHLD_handler

改为

from torch._C import _set_worker_signal_handlers
from torch.utils.data import _utils
from torch.utils.data.dataloader import DataLoader
from torch.utils.data.dataloader import _DataLoaderIter

_use_shared_memory = False

一定记住添加最后一行_use_shared_memory = False

---

2

        watchdog = ManagerWatchdog()

改为

        watchdog = _utils.worker.ManagerWatchdog()

---

3

            try:
                r = index_queue.get(timeout=MP_STATUS_CHECK_INTERVAL)

改为

            try:
                r = index_queue.get(timeout=_utils.MP_STATUS_CHECK_INTERVAL)

---

4

            except Exception:
                data_queue.put((idx, ExceptionWrapper(sys.exc_info())))

改为

            except Exception:
                data_queue.put((idx, _utils.ExceptionWrapper(sys.exc_info())))

---

5

                    target=_pin_memory_loop,

改为

                    target=_utils.pin_memory._pin_memory_loop,

---

6

            _update_worker_pids(id(self), tuple(w.pid for w in self.workers))
            _set_SIGCHLD_handler()

改为

            _utils.signal_handling._set_worker_pids(id(self), tuple(w.pid for w in self.workers))
            _utils.signal_handling._set_SIGCHLD_handler()

---

7

        collate_fn=default_collate

改为

        collate_fn=_utils.collate.default_collate

---

总结一下其实就是torch1.1发布者将很多之前需要从torch._C，torch.utils.data.dataloader等中引用的函数整合放入了torch.utils.data下的_utils中，从pytorch1.1起只需要from torch.utils.data import _utils即可。RCAN的dataloader.py和EDSR中的稍有差异，按照同样思路修改即可。

 

 

---

20190506补充：

在前边BUG调试好后又遇到问题：

ValueError: x and y must have same first dimension, but have shapes (59,) and (58,)

解决办法：

将trainer.py中所有的

self.optimizer.get_last_epoch() + 1

改为

self.optimizer.get_last_epoch()