【目录】
数据处理工作架构框图
数据读取流程图
1、数据处理工作架构框图
DataLoader(数据迭代器)由Sampler和DataSet组成
Sampler的功能是生成索引,DataSet是根据索引去读取图片以及标签
2、数据读取流程图
首先在for循环中使用DataLoader,然后使用DataLoaderIter决定使用单进程还是多进程读取数据,接着使用Sampler获取索引Index。拿到索引后给到DatasetFetcher,在这里面调用Dataset,DataSet调用getitem,在硬盘中根据给定的索引去读取实际的图像和标签。在读取一个batchsize的数据之后,通过collate_fn去整理,整理成一个BatchData的形式。
-
DataLoader
-
Epoch、Iteration与Batchsize之间的关系
-
torch.utils.data.Dataset
-
数据读取过程关键函数
pycharm中导入自己写的.py函数出错解决办法:直接在文件所在的目录(如上目录为 jihe )上进行操作!
数据代码
# ============================ step 1/5 数据 ============================
# 数据地址
split_dir = os.path.join("..", "data", "cad_split")
train_dir = os.path.join(split_dir, "train")
valid_dir = os.path.join(split_dir, "valid")
# 图像数据正则化均值与标准差
norm_mean = [0.485, 0.456, 0.406]
norm_std = [0.229, 0.224, 0.225]
#图像变换
train_transform = transforms.Compose([
transforms.Resize((32, 32)),
transforms.RandomCrop(32, padding=4),
transforms.ToTensor(),
transforms.Normalize(norm_mean, norm_std),
])
valid_transform = transforms.Compose([
transforms.Resize((32, 32)),
transforms.ToTensor(),
transforms.Normalize(norm_mean, norm_std),
])
# 构建MyDataset实例,DogCatDataset类为用户自己定义
train_data = DogCatDataset(data_dir=train_dir, transform=train_transform)
valid_data = DogCatDataset(data_dir=valid_dir, transform=valid_transform)
# 构建DataLoder,数据迭代器,将用户定义的dataset放入,设置好参数即可
train_loader = DataLoader(dataset=train_data, batch_size=BATCH_SIZE, shuffle=True)
valid_loader = DataLoader(dataset=valid_data, batch_size=BATCH_SIZE)
# DataLoder返回的参数为可迭代的对象,label和image
# DogCatDataset.py
import os
import random
from PIL import Image
from torch.utils.data import Dataset
random.seed(1)
DogCat_label = {"dog": 0, "cat": 1}
class DogCatDataset(Dataset):#加双下划线的魔法方向都有调用的自动触发机制
# 创建实例对象时,自动执行_ _init_ _中的语句
def __init__(self, data_dir, transform=None):
"""
rmb面额分类任务的Dataset
:param data_dir: str, 数据集所在路径
:param transform: torch.transform,数据预处理
"""
self.label_name = {"1": 0, "100": 1}
self.data_info = self.get_img_info(data_dir)
# data_info存储所有图片路径和标签,执行get_img_info函数
self.transform = transform
# transform数据预处理的函数名称传入,相当于函数地址传入
def __getitem__(self, index):
#获取图片与标签并进行预处理(返回第index个样本的具体数据),在DataLoader中通过index读取样本
#DataLoader需要一个getitem方法取数据,执行的就是self.data_info[index]
#data_info从函数get_img_info中获取
#__getitem__(self, key) 魔法方法:定义获取容器中指定元素的行为,相当于 self[key]
path_img, label = self.data_info[index]
img = Image.open(path_img).convert('RGB') # 0~255
if self.transform is not None:
img = self.transform(img) # 在这里做transform,转为tensor等等,让dataloader取到的图像为transform之后的图像
return img, label
def __len__(self):
return len(self.data_info)
@staticmethod
def get_img_info(data_dir):
data_info = list()
for root, dirs, _ in os.walk(data_dir):
# 遍历类别
for sub_dir in dirs:
img_names = os.listdir(os.path.join(root, sub_dir))
img_names = list(filter(lambda x: x.endswith('.jpg'), img_names))
# 遍历图片
for i in range(len(img_names)):#相当于img_names.__len__(),自动触发
img_name = img_names[i]
path_img = os.path.join(root, sub_dir, img_name)
label_name = img_name.split(".")[0] # 新增代码
label = DogCat_label[label_name] # 新增代码
# label = DogCat_label[sub_dir] # 原代码
data_info.append((path_img, int(label)))
return data_info