小白批量文本图片转向量--DataLoader/ DataSet ignore bad sample忽略报错样本！

问题

在批量图片转向量时，遇到了bad image，说图片不全，需要忽略掉。

解决方案

使用collate_fn自定义一个方法，核对过滤掉坏数据。个人推测collate_fn的工作流程如下：

对于每个batch来说，dataloader先用随机采样出一批样本index_lis，然后用dataset.__getitem__函数获取这批样本，再用`collate_fn`函数对获取的样本进行核对整理，最后通过stack操作等将这批数据转为torch.Tensor或者list，numpy等格式的batch数据集，传递给下游。

其具体流程是：

1. 在Dataset的__getitem__中将坏样本结果定义为None。
2. 自定义一下核对函数my_collate，去掉结果为None的样本。
3. 最后再执行一下default_collate函数，这一步很重要，不然就会报错。这个函数，将输入的batch数据，转为Tensor。如果是tuple元素，那么就转为多个Tensor。

# 数据集
from torch.utils.data import Dataset, DataLoader, default_collate

def my_collate(batch):
	# 2. 在`__getitem__`中将坏样本结果定义为空，并过滤掉坏样本
    batch = [e for e in batch if e]
    # 3. 一定要最后执行一下这个函数
    return default_collate(batch)

class CustomDataset(Dataset):
    def __init__(self, img_name_lis, img_path_lis, transform):
        self.img_name_lis = img_name_lis
        self.image_path = img_path_lis
        self.transform = transform

    def __len__(self):
        return len(self.img_name_lis)

    def __getitem__(self, idx):
        image_path = self.image_path[idx]
        image_id = self.img_name_lis[idx]
        try:
            img = Image.open(image_path).convert("L").convert("RGB")
            img = self.transform(img)
            return image_id, img
        except Exception as e:
            print("error image id:", image_id)
            # 1. 报错了，就忽略并给None结果。
            return None

dataset = CustomDataset(image_names, image_path_lis, transformer)            
dataloader = DataLoader(dataset,
                        batch_size=550, shuffle=False,
                        pin_memory=True, num_workers=18, 
                        collate_fn=my_collate)