【基础篇】pytorch学习笔记（五）[dataset、dataloader]

读入并处理数据后用网络训练分类器

一、关于数据

为了将数据喂入神经网络，其基本处理思路是：利用python包读入数据为numpy格式，而后将numpy array转换为一个torch.*Tensor

• 图像数据：OpenCV， Pillow等包
• 音频数据：scipy，librosa等包
• 文本数据：直接基于Python或Cython的读入, 或NLTK，SpaCy等包
  
  

在pytorch中，先将数据集包装为一个Dataset，然后再将Dataset包装成一个更好操作的Dataloader

cv处理上，pytorch提供了torchvision包，可以对常用的图像数据比如 Imagenet, CIFAR10, MNIST等生成datasets类的对象，同时也包含图像转换和可视化的相关功能

import torchvision.datasets          #for creating datasets of vision
import torchaudio.datasets			 #for datasets of audio
import torchtext.datasets			 #for fatasets of text
#datasets above no need of Dataset
import torch.utils.data.DataLoader   #for loading
import torch.utils.data.Dataset      #for wrap datasets

二、数据集（Datasets）

• map style：可以索引访问

class torch.utils.data.Dataset

1. 所有表示从key到data sample的映射的数据集都应将改类子类化
2. 所有的子类要重写__getitem__()（返回支持由key访问数据样本）
3. 子类可以选择性重写__len__()（用于很多采样实现和dataloader的默认项，返回数据集的size）

from torch,utils.data import Dataset
class myDataset(Dataset):
	def __init__(self,):
		#openfile or download file and loading
		#make sure data is of type: Tensor
	def __getitem__(self,index):
		#return element you want, for example x,y , which can be accessed with index
		return
	def __len__(self,):
		#return size
		return

__getitem__()的返回值就是后面迭代dataloader每一次的值

• iterable style：迭代访问

class torch.utils.data.IterableDataset

1. 所有表示可迭代数据样本的数据集都应将改类子类化
2. 这种形式的数据集对流式数据特别有用
3. 重写__iter__()(返回一个数据样本的迭代器)

当一个子类与DataLoader一起使用时，DataLoader迭代器将生成数据集中的每个item。当num_workers>0时，每个worker进程将有一个不同的dataset对象的副本，因此通常需要独立地配置每个副本，以避免从worker返回重复的数据。

方式1：用__iter__()split workload across all workers

>>> class MyIterableDataset(torch.utils.data.IterableDataset):
...     def __init__(self, start, end):
...         super(MyIterableDataset).__init__()
...         assert end > start, "this example code only works with end >= start"
...         self.start = start
...         self.end = end
...
...     def __iter__(self):
...         worker_info = torch.utils.data.get_worker_info