pytorch之dataloader,enumerate

pytorch之dataloader,enumerate

from torch.utils.data import TensorDataset
import torch
from torch.utils.data import DataLoader
a = torch.tensor([[1, 2, 3], [4, 5, 6], [7, 8, 9], [1, 2, 3], [4, 5, 6], [7, 8, 9], [1, 2, 3],
                  [4, 5, 6], [7, 8, 9], [1, 2, 3], [4, 5, 6], [7, 8, 9]])
b = torch.tensor([44, 55, 66, 44, 55, 66, 44, 55, 66, 44, 55, 66])
train_ids = TensorDataset(a, b)#封装数据a与标签b

# 切片输出
print(train_ids[0:2])
print('='* 80)
#  循环取数据
for x_train, y_label in train_ids:
     print(x_train, y_label)
# DataLoader进行数据封装
print('=' * 80)
 
train_loader = DataLoader(dataset=train_ids, batch_size=4, shuffle=True)
for i, data in enumerate(train_loader):  
    # 注意enumerate返回值有两个,一个是序号,一个是数据(包含训练数据和标签)
    x_data, label = data
    print(' batch:{0}\n x_data:{1}\nlabel: {2}'.format(i, x_data, label))
    

for i, data in enumerate(train_loader,5):  
    # 注意enumerate返回值有两个,一个是序号,一个是数据(包含训练数据和标签)
    x_data, label = data
    print(' batch:{0}\n x_data:{1}\nlabel: {2}'.format(i, x_data, label))


Dataloader:传入数据(这个数据包括:训练数据和标签),
batchsize代表的是每次取出4个样本数据。本例题中一共12个样本,因此迭代3次即可全部取出,迭代结束。
enumerate:返回值有两个:一个是序号,一个是数据train_ids
输出结果如下图:
在这里插入图片描述
在这里插入图片描述
也可如下代码,进行迭代:

for i, data in enumerate(train_loader,5):  
    # 注意enumerate返回值有两个,一个是序号,一个是数据(包含训练数据和标签)
    x_data, label = data
    print(' batch:{0}\n x_data:{1}\nlabel: {2}'.format(i, x_data, label))

for i, data in enumerate(train_loader,1):此代码中5,是batch从5开始,batch仍然是3个。运行结果如下:
在这里插入图片描述

  • 30
    点赞
  • 55
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
以下是利用dataloader定义batch数目为16,建立一个全连接神经网络,并以此进行训练的示例代码: ```python import torch import torch.nn as nn from torch.utils.data import DataLoader, TensorDataset, BatchSampler # 定义数据集 tensor_data = torch.randn(14807, 24) tensor_label = torch.randint(0, 2, (14807,)) # 定义BatchSampler batch_size = 16 batch_sampler = BatchSampler(range(len(tensor_data)), batch_size=batch_size, drop_last=False) # 定义数据集和dataloader dataset = TensorDataset(tensor_data, tensor_label) dataloader = DataLoader(dataset, batch_sampler=batch_sampler) # 定义全连接神经网络 class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.fc1 = nn.Linear(24, 32) self.fc2 = nn.Linear(32, 2) def forward(self, x): x = self.fc1(x) x = nn.functional.relu(x) x = self.fc2(x) return x net = Net() # 定义损失函数和优化器 criterion = nn.CrossEntropyLoss() optimizer = torch.optim.SGD(net.parameters(), lr=0.001, momentum=0.9) # 训练神经网络 for epoch in range(10): running_loss = 0.0 for i, data in enumerate(dataloader, 0): inputs, labels = data optimizer.zero_grad() outputs = net(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() if i % 1000 == 999: print('[%d, %5d] loss: %.3f' % (epoch + 1, i + 1, running_loss / 1000)) running_loss = 0.0 print('Finished Training') ``` 以上代码中,先定义了一个[14807, 24]的张量作为数据集,另外定义一个[14807,]的张量作为标签。然后使用`TensorDataset`将数据集和标签封装成一个数据集对象,使用`BatchSampler`和`DataLoader`将数据集按照batch的方式进行划分。接着定义了一个全连接神经网络,损失函数和优化器,并进行训练。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值