Pytorch警告UserWarning: Loky-backed parallel loops cannot be called in a multiprocessing

现象

运行pytorch代码总是出现如下问题

~/anaconda3/envs/pytorch-netvlad/lib/python3.7/site-packages/sklearn/neighbors/base.py:420: UserWarning: Loky-backed parallel loops cannot be called in a multiprocessing, setting n_jobs=1
  n_jobs = effective_n_jobs(self.n_jobs)

环境描述

conda创建的虚拟环境

python 3.7.0
pytorch 1.0.1
torchvision 0.2.1
scikit-learn 0.21.3
faiss 1.6.0
scipy 1.3.2
numpy 1.16.4
cudatoolkit 9.2
cudnn 7.6.4

解决办法

在调用sklearn处的knn = NearestNeighbors(n_jobs=-1)中将n_jobs的值改为1，或者进入到源码处，将n_jobs的值修正为1（不推荐）。
备注： 真正解决办法应该可以通过版本的相互协调进行解决，暂未找到更好的解决办法。

可能原因

由于我是通过VS Code远程，使用多线程时用到了

import multiprocessing
multiprocessing.set_start_method('spawn',True)

数据进行loader的的时候用到了多线程技术，与knn中的多线程冲突，所以产生警告信息。