pytorch手册学习（一）迁移学习遇到的问题：Cannot set number of intraop threads after parallel work has

在根据pytorch手册学习的过程中，PyTorch之迁移学习这一章节报错及解决。
这一章节主要实现的就是：在一个很大的数据集上 进行预训练得到卷积网络ConvNet, 然后将这ConvNet的参数作为目标任务的初始化参数或者固定这些参数。

 

主要步骤是：

1.导入相关的包

2.加载数据

3.可视化部分图像数据

4.训练模型

5.可视化模型的预测结果

6.场景1:微调ConvNet

7.场景2:ConvNet作为固定特征提取器

首先在运行3的时候，代码：

dataloaders = {x: torch.utils.data.DataLoader(image_datasets[x], batch_size=4, shuffle=True, num_workers=4) for x in ['train', 'val']}

def imshow(inp, title=None):
    """Imshow for Tensor."""
    inp = inp.numpy().transpose((1, 2, 0))
    mean = np.array([0.485, 0.456, 0.406]) 
    std = np.array([0.229, 0.224, 0.225]) 
    inp = std * inp + mean
    inp = np.clip(inp, 0, 1) 
    plt.imshow(inp)
    if title is not None: 
        plt.title(title)
    plt.pause(0.001) # pause a bit so that plots are updated 
# 获取一批训练数据
inputs, classes = next(iter(dataloaders['train']))
 # 批量制作网格
out = torchvision.utils.make_grid(inputs) 
imshow(out, title=[class_names[x] for x in classes])

首先在运行3的时候，代码一直运行不出来，且出现了：

[W ParallelNative.cpp:214] Warning: Cannot set number of intraop threads after parallel work has started or after set_num_threads call when using native parallel backend (function set_num_threads)

除了修改环境变量以外，主要解决方法是修改dataloader：

dataloaders = {x: torch.utils.data.DataLoader(image_datasets[x], batch_size=4, 
                                              shuffle=True ) for x in ['train', 'val']}

去掉dataloader中的num_workers=4即可！

修改环境变量的解决方法是，可以通过在命令行输入

 export OMP_NUM_THREADS=1

或者 在jupyter/pycharm运行

import os
# 只使用一个线程
os.environ["OMP_NUM_THREADS"] = "1"

运行结束后，此段代码可以正常显示：

 紧接着，在运行第6个场景 训练和评估模型时

model_ft = train_model(model_ft, criterion, optimizer_ft, exp_lr_scheduler,
num_epochs=25)

又产生了两个新错误：

错误1:

Warning: Detected call of `lr_scheduler.step()` before `optimizer.step()`. In PyTorch 1.1.0 and later, you should call them in the opposite order: `optimizer.step()` before `lr_scheduler.step()`.  Failure to do this will result in PyTorch skipping the first value of the learning rate schedule.

解决：

将  if phase == 'train': scheduler.step()放在每个epoch中optimizer.step()的后面即可

错误2 如本文标题，改dataloader即可。