**一、知识点:
相关包:torch.utils.data*
import torch
import torch.utils.data as Data
包装数据类:TensorDataset
【包装数据和目标张量的数据集,通过沿着第一个维度索引两个张量来】
class torch.utils.data.TensorDataset(data_tensor, target_tensor)
#data_tensor (Tensor) - 包含样本数据
#target_tensor (Tensor) - 包含样本目标(标签)
加载数据类:DataLoader
【数据加载器。组合数据集和采样器,并在数据集上提供单进程或多进程迭代器。】
class torch.utils.data.DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, num_workers=0, collate_fn=<function default_collate>, pin_memory=False, drop_last=False)
#num_workers (int, optional) – 用多少个子进程加载数据
#drop_last (bool, optional) – 如果数据集大小不能被batch size整除,则设置为True后可删除最后一个不完整的batch。如果设为False并且数据集的大小不能被batch size整除,则最后一个batch将更小。(默认: False)
首先介绍一下import torch.utils.data as Data,这在训练过程中基本都会用到。该接口大多用来读取数据和把数据封装成Tensor,之后的DataLoader用来做mini—batch训练。
import torch
import torch.utils.data as Data
BATCH_SIZE=5
x=torch.linspace(1,10,10)
y=torch.linspace(10,1,10)
# 先转换成 torch 能识别的 Dataset
torch_dataset=Data.TensorDataset(x,y) #变成Tensor
loader=Data.DataLoader(
dataset=torch_dataset,
batch_size=BATCH_SIZE,
shuffle=True,
num_workers=2 # 多线程来读数据
注意DataLoader里面的dataset参数必须要是Tensor类型,batch_size是你需要的mini-batch的大小,shuffle是否打乱,True就是打乱(打乱效果比较好,一般都打乱),num_workers=2是多线程读取数据。
def show_batch():
for epoch in range(3):# 训练所有!整套!数据 3 次
for step,(batch_x,batch_y) in enumerate(loader):
# 打出来一些数据
print('Epoch: ', epoch, '| Step: ', step, '| batch x: ',
batch_x.numpy(), '| batch y: ', batch_y.numpy())
if __name__ == '__main__':
show_batch()
enumerate就是可以把一个list变成索引-元素对,这样可以在for循环中同时迭代索引和元素本身。
参考:https://www.cnblogs.com/Lee-yl/p/10139766.html