在cifar100上运行disco相关代码报错及解决

简介

disco是一种知识蒸馏的新方案，通过假定MLP层包含最丰富的特征，从teacher模型的MLP层蒸馏知识，训练轻量级的student模型
代码地址

报错一

ImportError: cannot import name ‘container_abcs‘ from ‘torch._six‘
解决
原因分析：由于colab中预装的pytorch版本与项目需要的pytorch版本不一致问题

报错二

没有找到flocal module
解决：

from data.cal_mi import cal_mi_epoch
from data.mi_by_binning import MI_cal_v2

原因分析：通过检索全局文件发现cal_mi mi_by_binning在data目录下

报错三

没有找到no checkpoint found at ‘/ckpt/ResNet50-checkpoint_0199.pth.tar’
改成./ckpt
原因分析，git下的代码不在根目录一级下，需要使用相对路径

报错四

Unexpected bus error encountered in worker. This might be caused by insufficient shared memory (shm)
出现这个错误的情况是，在服务器上的docker中运行训练代码时，batch size设置得过大，shared memory不够（因为docker限制了shm）.解决方法是，将Dataloader的num_workers设置为0.

方法一

将args.workers = int((args.workers + ngpus_per_node - 1) / ngpus_per_node)
改为0
无效

方法二

直接将DataLoader中的num_workers修改为2，成功

报错五

RuntimeError: Dataset not found or corrupted. You can use download=True to download it
原因分析验证：验证数据集没有下载下来，将源代码中的download都修改为True

报错六

RuntimeError: view size is not compatible with input tensor‘s size and stride
起初以为是尺寸不匹配，后发现是连续性的问题

报错七

IndexError: index 13 is out of bounds for axis 1 with size 10
不是每次运行都会发生该错误
可能原因：一个batch中没有随机采样到所有类别