基本概述
pytorch输入数据PipeLine一般遵循一个“三步走”的策略,一般pytorch 的数据加载到模型的操作顺序是这样的:
① 创建一个 Dataset 对象。必须实现__len__()、getitem()这两个方法,这里面会用到transform对数据集进行扩充。
② 创建一个 DataLoader 对象。它是对DataSet对象进行迭代的,一般不需要事先里面的其他方法了。
③ 循环遍历这个 DataLoader 对象。将img, label加载到模型中进行训练
注意这三个类均在torch.utils.data 中
pytorch数据预处理三剑客之系列文章
(第一篇)pytorch数据预处理三剑客之——Dataset,DataLoader
这一篇章已经很明确的说明了如何使用DataSet类和DataLoader类,
(第二篇)pytorch数据预处理三剑客之——DataLoader的重要参数collate_fn,sampler
第二篇文章中详细介绍了DataLoader类中的几个重要的常用的参数,如sampler参数、collate_fn参数
(第三篇)pytorch数据预处理三剑客之——Transform
在数据与处理的过程中,还会遇到数据增强、数据裁剪等各种操作,当然这些操作我们可以预先自己来实现,但是pytorch提供了强大的处理工具来对图像进行预处理,这也是本文的重点,详细介绍 torchvision中的transform操作。
多种组合变换有一定的先后顺序,处理PILImage的变换方法(大多数方法)都需要放在ToTensor方法之前,
而处理tensor的方法(比如Normalize方法)就要放在ToTensor方法之后。
接下来介绍transforms中的函数:(从比较重要的开始)
ToTensor:convert a PIL image to tensor (HWC) in range [0,255],
and then to a torch.Tensor(CHW) in the range [0.0,1.0]
Normalize:Normalized an tensor image with mean and standard deviation。
即:用给定的均值和标准差分别对每个通道的数据进行正则化。
具体来说,给定均值(M1,…,Mn),给定标准差(S1,…,Sn),其中n是通道数(一般是3)
自制transform----
如果自制transform类,则该类的_call函数的输入输出都是PIL格式的图像。
PIL是HWC顺序,并且三个通道为RGB(不是cv2的BGR)。
特别注意,
如果过程中要采用cv2处理图像,只需将PIL转换为np.array形式:np.array(PIL),无需将RGB转换为BGR。- 如果一定要转换颜色通道,也务必在cv2操作完之后,将BGR转回RGB。- 否则,会导致通道顺序与预训练网络见过的通道顺序不一致,性能降低。
实际上,最终tranform返回的,可以显式转换:
img = Image.fromarray(img.astype(‘uint8’)).convert(‘RGB’)
也可以只需是HWC,RGB,取值范围在0-55之间的np.array即可。框架会自动转换。
pytorch数据预处理:如何自定义transforms方法
PyTorch 学习笔记(一):让PyTorch读取你的数据集
主要内容:
重点看 getitem函数,getitem接收一个index,然后返回图片数据和标签,这个index通常指的是一个list的index,
这个list的每个元素就包含了图片数据的路径和标签信息。
然而,如何制作这个list呢,通常的方法是将图片的路径和标签信息存储在一个txt中,然后从该txt中读取。
那么读取自己数据的基本流程就是:
- 制作存储了图片的路径和标签信息的txt
- 将这些信息转化为list,该list每一个元素对应一个样本
- 通过getitem函数,读取数据和标签,并返回数据和标签