python深度学习并行训练踩坑记录

最近在做一个对抗攻击的任务，写的代码只能逐个样本进行处理，速度实在太慢且显卡性能剩余的太多，于是想并行处理提高效率。

检索发现有以下实现方法：1.构造dataset实现多批量并行  2.多卡并行计算  3.单卡多进程计算。在尝试的过程中遇到了诸多问题，最终只实现了第三种方法。记录如下：

1.构造dataset实现多批量并行

 根据https://www.cnblogs.com/Aiyuqianer/p/14091062.html理解了getitem函数的作用，编写代码如下，目的是传入一组图片及其文件名。

class ArcFaceDataset(Dataset):
    def __init__(self, samples_path,transformer=to_torch_tensor,loader=default_loader):
        self.sample_path=samples_path
        self.img_list = os.listdir(samples_path)
        self.transformer = to_torch_tensor
        self.loader=default_loader

    def __getitem__(self, idx):
        img_name=self.img_list[idx]
        img = self.loader(self.sample_path+'/'+img_name)
        img = self.transformer(img)
        return img,img_name

    def __len__(self):
        return