从零学习pytorch 第2课 Dataset类

最新推荐文章于 2023-11-04 20:22:49 发布

微信公众号[机器学习炼丹术]

最新推荐文章于 2023-11-04 20:22:49 发布

阅读量1.1w

点赞数 9

分类专栏： PyTorch 从零学习深度网络 python小知识文章标签： python 深度学习机器学习 tensorflow

本文链接：https://blog.csdn.net/qq_34107425/article/details/104097402

版权

PyTorch 从零学习深度网络同时被 2 个专栏收录

71 篇文章 77 订阅

订阅专栏

python小知识

49 篇文章 13 订阅

订阅专栏

课程目录（在更新，喜欢加个关注点个赞呗）：
从零学习pytorch 第1课搭建一个超简单的网络
 从零学习pytorch 第1.5课训练集、验证集和测试集的作用
 从零学习pytorch 第2课 Dataset类
 从零学习pytorch 第3课 DataLoader类运行过程
 从零学习pytorch 第4课初见transforms
从零学习pytorch 第5课 PyTorch模型搭建三要素
 从零学习pytorch 第5.5课 Resnet34为例学习nn.Sequential和模型定义
 从零学习PyTorch 第6课权值初始化
 从零学习PyTorch 第7课模型Finetune与预训练模型
 从零学习PyTorch 第8课 PyTorch优化器基类Optimier
这一次主要讲解pytorch读取数据的机制和流程，然后按照流程编写代码

Dataset基类

PyTorch 读取图片，主要是通过 Dataset 类，所以先简单了解一下 Dataset 类。Dataset
类作为所有的 datasets 的基类存在，所有的 datasets 都需要继承它。
看一下源码：
在这里插入图片描述
这里有一个getitem函数，getitem函数接收一个index，然后返回图片数据和标签，这个index通常是指一个list的index，这个list的每个元素就包含了图片数据的路径和标签信息。

list的制作方法通常是将图片的路径和标签信息存储在一个txt中，然后从txt中读取，所以总结一下基本流程：

制作存储了图片路径和标签信息的txt
将这些信息转化成list，list的每一个元素对应一个样本
通过getitem函数，读取数据和标签。

其实说着了些都没用，因为在训练代码里是感觉不到这些操作的，只会看到通过DataLoader就可以获取一个batch的数据，其实触发去读取图片这些操作的是DataLoader里的__iter__(self)（后面再将）。

总而言之，要让PyTorch读取自己的数据集，只要两步：

制作图片数据的索引
构建Dataset子类

制作图片数据索引

非常简单，就是一些基本的操作，百度一下“”python如何保存txt文件“”就可以知道了。
然后一般来说，txt都是这样的格式
./Data/train/01.png 0
./Data/train/02.png 0
./Data/train/03.png 1
./Data/train/04.png 1

构建Dataset子类

下面我们构建一下Dataset的子类，叫他MyDataset类：

from PIL import Image
from torch.utils.data import Dataset
class MyDataset(Datset):
    def __init__(self,txt_path,transform=None,target_transform=None):
        fh = open(txt_path,'r')
        imgs = []
        for line in fh:
            line = line.rstrip()
            words = line.split()
            imgs.append((words[0].int(words[1])))
        self.imgs = imgs
        self.transform = transform
    def __getitem__(self,index):
        fn,label = self.imgs[index]
        img=Image.open(fn).convert('RGB')
        if self.transform is not None:
            img = self.transform(img)
        return img,label
    def __len__(self):
        return len(sefl.imgs)

Init

初始化中，我们从已经准备好的txt中获取了图片的路径和表亲啊，并且春初在self.imgs这意味着self.imgs是一个list就像上面我们讲的那样
初始化中，初始化了transform，transform是一个Compose类型，transform中包含一个list，list中定义了各种对图像进行的操作，比如随机剪裁，旋转反转等。
一个图片都进来之后，会经过数据处理（数据增强），最终变成另外一张图片，也就是模型的输入数据。但是PyTorch的数据增强是将原始图片进行处理，是不会生成新的图片。因此假如我们使用randomcrop这样的随机操作的时候，每次epoch输入进来的图片不会是一摸一样的，达到样本多样性的功能