Pytorch系列笔记（八）

我们来看看数据集和数据加载器（Dataset and DataLoader）
我们在以前讲解的例子中因为我们的数据集比较小，所以我们把所有的数据就直接不做任何处理就进行相关的训练也是可以的，但是如果我们的数据集比较大，就需要对数据集进行相关的操作才能提高我们的效率。
如上图，我们可以先对数据进行shuffle（即进行打乱顺序），然后把这些数据加载并且将其分为不同的batch，一般我们可以将batch设置为5。
以下是相关概念的解释：
我们看如下的代码：

import torch
from torch.utils.data import Dataset
from torch.utils.data import DataLoader
class DiabetesDataset(Dataset):
def __init__(self):
pass
def __getitem__(self, index):
pass
def __len__(self):
pass
dataset = DiabetesDataset()
train_loader = DataLoader(dataset=dataset,
batch_size=32,
shuffle=True,
num_workers=2)

数据集是一个抽象类。我们可以定义从此继承的类。DataLoader是帮助我们在PyTorch中加载数据的类。DiabetesDataset继承自抽象类Dataset。表达式dataset [index]将调用此magic function.。这个magic function返回数据集的长度。然后构造DiabetesDataset对象。最后我们初始化batch-size, shuffle, process number.等一系列参数。
注意：因为Windows上使用spawn而不是fork的情况下，多处理的实现有所不同。因此下面的代码是有问题的：

for epoch in range(100):
for i, data in enumerate(train_loader, 0):

应该将其改为：

if __name__ == '__main__':
for epoch in range(100):
for i, data in enumerate(train_loader, 0):

以下是完整代码：

import numpy as np
import torch
from torch.utils.data import Dataset, DataLoader
class DiabetesDataset(Dataset):
def __init__(self, filepath):
xy = np.loadtxt(filepath, delimiter=',', dtype=np.float32)
self.len = xy.shape[0]
self.x_data = torch.from_numpy(xy[:, :-1])
self.y_data = torch.from_numpy(xy[:, [-1]])
def __getitem__(self, index):
return self.x_data[index], self.y_data[index]
def __len__(self):
return self.len
dataset = DiabetesDataset('diabetes.csv.gz')
train_loader = DataLoader(dataset=dataset,
batch_size=32,
shuffle=True,
num_workers=2)
class Model(torch.nn.Module):
def __init__(self):
super(Model, self).__init__()
self.linear1 = torch.nn.Linear(8, 6)
self.linear2 = torch.nn.Linear(6, 4)
self.linear3 = torch.nn.Linear(4, 1)
self.sigmoid = torch.nn.Sigmoid()
def forward(self, x):
x = self.sigmoid(self.linear1(x))
x = self.sigmoid(self.linear2(x))
x = self.sigmoid(self.linear3(x))
return x
model = Model()
criterion = torch.nn.BCELoss(size_average=True)
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
for epoch in range(100):
for i, data in enumerate(train_loader, 0):
# 1. Prepare data
inputs, labels = data
# 2. Forward
y_pred = model(inputs)
loss = criterion(y_pred, labels)
print(epoch, i, loss.item())
# 3. Backward
optimizer.zero_grad()
loss.backward()
# 4. Update
optimizer.step()

我们有以下的dataset loader：
• MNIST
• Fashion-MNIST
• EMNIST
• COCO
• LSUN
• ImageFolder
• DatasetFolder
• Imagenet-12
• CIFAR
• STL10
• PhotoTour