RuntimeError: CUDA error: invalid device ordinal (exchangeDevice at /opt/conda/conda-bld/pytorch_15

pytorch出现下面的错误
RuntimeError: CUDA error: invalid device ordinal (exchangeDevice at /opt/conda/conda-bld/pytorch_1549628766161/work/aten/src/ATen/cuda/detail/CUDAGuardImpl.h:28)
很大可能是你GPU参数设置的不正确。比如你只有2个GPU，但是你在训练模型时，把GPU的参数设置成4，就会出现上面的错误。