构造自己的数据集并用dataloader加载

最新推荐文章于 2024-01-29 11:57:33 发布
VIP文章 最新推荐文章于 2024-01-29 11:57:33 发布
阅读量3.8k 收藏 12
点赞数 2
分类专栏： RNN python 文章标签： 深度学习 python 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41555408/article/details/107212756
版权

在进行神经网络训练时，常会将数据分成batch进行训练，为了方便数据的加载和输入，常需要继承dataset类来重新组织自己的数据，并使用dataloader加载

  • 继承dataset ，定义dataloader
#继承 Dataset类 ，将自己的数据构造成dataloader可以处理处理的形式
class DealDataset(Dataset):

    def __init__(self):
        self.x_data = train_X
        self.y_data = train_y
        self.len = train.shape[0]
    
    def __getitem__(self, index)
最低0.47元/天 解锁文章
Sophia要一直努力
关注
  • 2
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用DataLoader自定义数据集
10-09
使用DataLoader自定义数据集
Pytorch加载自己的数据集(使用DataLoader读取Dataset)
l8947943的博客
12-27 4万+
1. 我们经常可以看到Pytorch加载数据集会用到官方整理好的数据集。很多时候我们需要加载自己的数据集，这时候我们需要使用Dataset和DataLoader Dataset：是被封装进DataLoader里，实现该方法封装自己的数据和标签。 DataLoader：被封装入DataLoaderIter里，实现该方法达到数据的划分。 2.Dataset 阅读源码后，我们可以指导，继承该方法必须.........
[pytorch] 定义自己的dataloader
最新发布
Alexa_的博客
01-29 640
一般将dataloader封装为一个类，这个类继承自 torch.utils.data.datasetclass LoadData(Dataset): # 注意父类的名称，不能写datasetpass需要注意的是dataset是模块名，而Dataset是类名，在python中模块名和类名是完全独立的命名空间，因此这里的父类需要写成 dataset.Dataset。__init__方法，主要用来定义数据的预处理__getitem__方法，返回数据的item和label。
机器学习从入门到创业手记-构造数据集
yoki2009的专栏
03-14 358
PPT页15 旁白：对于机器学习而言合适的数据一直都是稀缺资源，尤其是对于初学者根本无法找到适合自己模型算法的数据，所幸sklearn提供了制造训练数据的方法，请试着创造出样本数为10000特征数为3，共分4个类别的数据集，并显示出来。 安逸提交的代码： import matplotlib.pyplot as plt from ...
简单测试一下pytorch dataloader里的shuffle=True是如何工作的
我在浪里
04-22 2万+
import sys import torch import random import argparse import numpy as np import pandas as pd import torch.nn as nn from torch.nn import functional as F from torch.optim import lr_scheduler from torch...
用PyTorch实现MNIST手写数字识别(非常详细)
xfxuezhang.cn
04-30 15万+
hello大家好！我又来搬文章了！我就不信还有比这更详细的？！ MNIST可以说是机器学习入门的hello word了！导师一般第一个就让你研究MNIST，研究透了，也算基本入门了。好的，今天就来扯一扯学一学。 在本文中，我们将在PyTorch中构建一个简单的卷积神经网络，并使用MNIST数据集训练它识别手写数字。在MNIST数据集上训练分类器可以看作是......
Pytorch（五）入门：DataLoader 和 Dataset
热门推荐
嘿芝麻的树洞
09-22 29万+
DataLoader 和 Dataset 构建模型的基本方法，我们了解了。 接下来，我们就要弄明白怎么对数据进行预处理，然后加载数据，我们以前手动加载数据的方式，在数据量小的时候，并没有太大问题，但是到了大数据量，我们需要使用 shuffle, 分割成mini-batch 等操作的时候，我们可以使用PyTorch的API快速地完成这些操作。 Dataset是一个包装类，用来将数据包装为Datas...
（二）PyTorch学习笔记——pytorch构造数据集
Haward
06-06 3776
import torch import torch.nn as nn from torch.autograd import Variable from torch.utils.data import Dataset, DataLoader # 参数和数据加载 input_size = 5 output_size = 2 batch_size = 4 #批量大小 data_size = 10...
pytorch中几个常见的需要重写的类
chenwei的博客
04-08 858
文章目录1 Dataset类2 自定义transform3 自定义网络结构 由于是初学者，目前在学习过程中遇到的就以上三类，如果还有其他的话欢迎补充。 1 Dataset类 有时候需要使用我们自己的数据集，而非pytroch自带的数据集，这时候就有必要改写Dataset类了。相关操作见 Dataset类的改写，里面写得比较详细了，摘录几句比较重要的话。 当我们集成了一个 Dataset类之后，我们需要重写 __len__ 方法，该方法提供了dataset的大小； __getitem__ 方法， 该方法支持
dealdata.py
09-20
主要是dnn与cnn结合使用的模型，希望可以帮助学习的人。
torch数据集导入
wdnmdhuan的博客
04-08 774
torch数据集导入文件读取使用pandas读取使用numpy读取将数据包装成Dataset类直接使用TensorDataset进行包装继承Dataset类 import numpy as np import pandas as pd import torch from torch.utils.data import Dataset, DataLoader, TensorDataset 文件读取 将数据从文件中读取出来并转化为tensor类，即便进行后续的处理 使用pandas读取 data = pd.r
pytorch 自定义数据集加载方法
09-18
今天小编就为大家分享一篇pytorch 自定义数据集加载方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
DataLoader.py_torch数据_.DataLoader数据加载器_
10-02
torch.utils.data.DataLoader 数据加载器，结合了数据集和取样器，并且可以提供多个线程处理数据集在训练模型时使用到此函数，用来把训练数据分成多个小组，此函数每次抛出一组数据，直到把所有的数据都抛出。...
pytorch中如何使用DataLoader对数据集进行批处理的方法
09-18
主要介绍了pytorch中如何使用DataLoader对数据集进行批处理的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
高光谱使用PyTorch的dataloader加载高光谱数据
05-29
高光谱数据的dataloader测试项目
data[:,0] data[1,:]的含义
小张快冲
03-05 4万+
data[ a , b ] a的位置限制第几行，b的位置限制第几列 “ : ”表示全部数据 例如： data[:,0]表示第1列所有数据 data[1,:]表示第1行所有数据 data = [[1,2,6], [3,4,7]] data = np.array(data) print(data[:,0]) print(data[:,1]) print(data[:,2]) pri...
AttributeError: module 'tensorflow' has no attribute 'ConfigProto'
小张快冲
03-04 3万+
出现这个错误的原因是python代码是基于TensorFlow1.0的，而系统中的TensorFlow版本为2.0 所以两种解决思路： 把1.0的代码改为2.0 把TensorFlow降为1.0 我选择了第一种方法 AttributeError: module 'tensorflow' has no attribute 'ConfigProto' 出现报错的语句： config = tf....
雷达图 The number of FixedLocator locations (13), usually from a call to set_ticks, does not match the
小张快冲
04-06 2万+
The number of FixedLocator locations (13), usually from a call to set_ticks, does not match the number of ticklabels (12). 最近在使用matplotlib绘制雷达图时，出现了如上所述问题。我建立时序预测模型对风机的各项参数做了预测，最后想可视化这些参数各自的预测误差。 解决方案： 保证绘图时feature和values数量一致： 函数内代码第三行后加上feature=np.con
jupyter长代码换行
小张快冲
05-09 1万+
jupyter中如果没设置自动换行，一行代码可以写的超级长，但是过长的代码就无法在页面全部显示，需要左右拖动下方的滑块才能看，很不方便。很多人也吐槽自动换行无法对齐等问题（逼死强迫症），因此记录一下jupyter如何自行换行。以下是我最近使用jupyter进行代码换行时的操作，总结不够严谨，欢迎补充指正。 jupyter中换行有三种操作 1. 直接回车换行 适用于赋值等基本操作时的环境。 比如给变量赋值时，变量值过长（变量类型为字符串或者其他变量类型均可）。 2. "\"换行 适用于数学计算，函数调用.
dataloader加载数据集
05-29
好的，数据集加载完成后，我们通常会使用dataloader来准备数据，以便于模型训练。dataloader可以帮助我们对数据进行批量处理、乱序、并行读取等操作，提高模型训练效率。 以文本数据集为例，我们可以先将每个文本转换成数字序列，并将所有文本序列对齐到相同长度，然后将所有文本序列打包成batch，供模型训练使用。具体操作可以参考以下代码： ```python import torch.utils.data as data from torch.nn.utils.rnn import pad_sequence import numpy as np class TextDataset(data.Dataset): def __init__(self, data): self.data = data self.tokenizer = Tokenizer() def __getitem__(self, index): # 将文本转换成数字序列 text = self.data[index] tokens = self.tokenizer.tokenize(text) ids = self.tokenizer.convert_tokens_to_ids(tokens) return ids def __len__(self): return len(self.data) def collate_fn(batch): # 将序列对齐到相同长度 lengths = [len(seq) for seq in batch] max_len = max(lengths) padded_seqs = [seq + [0]*(max_len-len(seq)) for seq in batch] padded_seqs = torch.LongTensor(padded_seqs) return padded_seqs, lengths # 加载数据集 data = ['text1', 'text2', 'text3', 'text4', 'text5'] dataset = TextDataset(data) dataloader = data.DataLoader(dataset, batch_size=2, shuffle=True, collate_fn=collate_fn, num_workers=0) # 使用dataloader训练模型 for batch in dataloader: inputs, lengths = batch outputs = model(inputs) loss = criterion(outputs, targets) optimizer.zero_grad() loss.backward() optimizer.step() ``` 在上面的代码中，我们自定义了一个TextDataset类，用于将文本数据转换成数字序列。在collate_fn函数中，我们将所有序列对齐到相同长度，并将它们打包成batch。最后使用DataLoader加载数据集，并传入collate_fn函数进行处理。 需要根据具体的数据集格式和模型需求来选择相应的方法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值