Pytorch图像到模型过程

Pytorch数据集准备阶段

from PIL import Image
from torch.utils.data import Dataset

class MyDataset(Dataset):
	def __init__(self, txt_path, transform = None, target_transform = None):
		fh = open(txt_path, 'r')
		imgs = []
		for line in fh:
			line = line.rstrip()
			words = line.split()
			imgs.append((words[0], int(words[1])))
			self.imgs = imgs
			self.transform = transform
			self.target_transform = target_transform
		def __getitem__(self, index):
			fn, label = self.imgs[index]
			img = Image.open(fn).convert('RGB')
			if self.transform is not None:
			img = self.transform(img)
			return img, label
		def __len__(self):
			return len(self.imgs)

构建数据集阶段，主要流程：

• 创建数据索引
• dataset解析索引并定义数据transform方式
• 读取并返回图像数据和标签

那么在实际的过程中从图像到模型的具体实现过程是如何呢？

1. 从 MyDataset 类中初始化 txt,txt 中有图片路径和标签

2. 初始化 DataLoader 时,将 train_data 传入,从而使 DataLoader 拥有图片的路径

3. 在一个 iteration 进行时,才读取一个 batch 的图片数据 enumerate()函数会返回可迭代数
据的一个“元素”，在这里 data 是一个 batch 的图片数据和标签,data 是一个 list 喔

4. class DataLoader()中再调用 class _DataLoaderIter()

5. 在 _DataLoaderiter()类中会跳到__next__(self)函数,在该函数中会通过
indices = next(self.sample_iter) 获取一个 batch 的 indices
再通过batch = self.collate_fn([self.dataset[i] for i in indices])获取一个 batch 的数据
在 batch = self.collate_fn([self.dataset[i] for i in indices])中会调用 self.collate_fn 函数

6. self.collate_fn 中会调用 MyDataset 类中的__getitem__()函数,在__getitem__()中通过
Image.open(fn).convert('RGB')读取图片

7. 通过 Image.open(fn).convert('RGB')读取图片之后,会对图片进行预处理,例如减均值,
除以标准差,随机裁剪等等一系列提前设置好的操作。
具体 transform 的用法将用单独一小节介绍,最后返回 img,label,再通过 self.collate_fn 来
拼接成一个 batch。一个 batch 是一个 list,有两个元素,第一个元素是图片数据,是一个
4D 的 Tensor,shape 为(64,3,32,32),第二个元素是标签 shape 为(64)。

8. 将图片数据转换成 Variable 类型,然后称为模型真正的输入
inputs, labels = Variable(inputs), Variable(labels)
outputs = net(inputs)

注意两点

• 图片的RGB排列方式和CHW组合方式主要看get_item函数如何实现读取
• pytorch中处理图像后是修改后覆盖原图，而不是重新生成

参考文献：PyTorch_tutorial_0.0.4_余霆嵩 https://github.com/tensor-yu/PyTorch_Tutorial