yutianCHN的博客

找到allennlp.nn.parallel.ddp_accelerator源码，将find_unused_parameters默认值改成True即可。

@DdpAccelerator.register("torch")
class TorchDdpAccelerator(DdpAccelerator):
 | def __init__(
 |     self,
 |     *, find_unused_parameters: bool = False, # 改成True
 |     *, local_rank: Optional[int] = None,
 |     *, world_size: Optional[int] = None,
 |     *, cuda_device: Union[torch.device, int] = -1
 | ) -> None

目前不太清楚allennlp train的调用过程，理论上应该存在接口可以在不更改库函数的情况下修改这个参数。但是目前问题已经解决。

CUDAToolkit和GPU不匹配
在更换pytorch 1.5.0 gpu+CUDA10.2之后，报错变为cudnn error。原因是没有安装cudnn。由于在公用服务器上无法安装cudnn，所以只能通过如下代码禁用：

import torch
torch.backends.cudnn.enabled = False

解决。