pytorch学习笔记六：torch.utils.data下的TensorDataset和DataLoader的使用

最新推荐文章于 2024-06-22 17:19:56 发布
最新推荐文章于 2024-06-22 17:19:56 发布
阅读量1.7w 收藏 129
点赞数 35
分类专栏： # PyTorch学习笔记 文章标签： 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39507748/article/details/105385709
版权
一、TensorDataset
  • 对给定的tensor数据(样本和标签)，将它们包装成dataset。注意，如果是numpy的array，或者Pandas的DataFrame需要先转换成Tensor。
'''
data_tensor (Tensor) －　样本数据
target_tensor (Tensor) －　样本目标（标签）
'''
 dataset=torch.utils.data.TensorDataset(data_tensor, 
                                        target_tensor)

下面举个例子：

  • 我们先定义一下样本数据和标签数据，一共有1000个样本

                

                
                
        

        

    




        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  耐心的小黑
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    35
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    129
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
                
  • 
                  
                    打赏
                    
                  
                  
    打赏
    
                
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  6
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          

                

                        订阅专栏
                










                



	

		

			

				
					
torch.utils.data.DataLoader使用方法

				
			

			

				

					buziran的专栏
				

				

					06-17
					
					8727
					
				

			

		

		

			
				
部分转发

https://www.cnblogs.com/demo-deng/p/10623334.html

PyTorch 中的数据类型 torch.utils.data.DataLoader

数据加载器，结合了数据集和取样器，并且可以提供多个线程处理数据集。
在训练模型时使用到此函数，用来把训练数据分成多个小组，此函数每次抛出一组数据。直至把所有的数据都抛出。就是做一个数据的初始化。


"""
    批训练，把数据变成一小批一小批数据进行训练。
    DataLoader就是用来包装所使用的

			
		

	



                

              
                



	

		

			

				
					
【冰糖Python】PyTorch：数据集包装 torch.utils.data.TensorDataset()

				
			

			

				

					冰糖的小屋
				

				

					03-06
					
					3372
					
				

			

		

		

			
				
有时需要使用 PyTorch 对本地数据 进行分类任务，需要对本地数据进行加载

假设常用的本地数据文件为二维表结构，通过一般性操作获得数据和类标，并完成训练集/测试集划分后

进一步需要转换为 Tensor 类型，此时就需要使用torch.utils.data.TensorDataset()
...

			
		

	



                


  
              

                


	

		

			

				
					
Pytorch中的数据与优化器：Dataset、TensorDataset、DataLoader、optimizer.param_groups

					
最新发布

				
			

			

				

					qq_43629945的博客
				

				

					06-22
					
					1186
					
				

			

		

		

			
				
torch.utils.data.Dataset、torch.utils.data.TensorDataset、torch.utils.data.DataLoader、optimizer.param_groups

			
		

	





	

		

			

				
					
torch.utils.data中Dataset TensorDataset以及Dataloader

				
			

			

				

					lbj23hao1的博客
				

				

					04-26
					
					7645
					
				

			

		

		

			
				
在打包自己处理的数据时有两种方法：
1.写个数据集的类（myDataset ），并继承Dataset
在myDataset 类中实现__len__()和__getitem__两个函数，	__len__返回数据集的总长，__getitem__返回每次按照			索引所取的项，即x, y
比如：在处理序列问题时：
__len__返回的是：all_len/seq_len
__getitem__返回的是：一...

			
		

	



		

			
		



	

		

			

				
					
pytorch之TensorDataset

				
			

			

				

					qq_42334822的博客
				

				

					05-11
					
					983
					
				

			

		

		

			
				
pytorch之TensorDataset，多输入和多输出

			
		

	





	

		

			

				
					
pytorch中的num_workers和pin_memory

				
			

			

				

					baidu_40840693的博客
				

				

					10-14
					
					4074
					
				

			

		

		

			
				
1.dataset：加载的数据集(Dataset对象)
2.batch_size：batch size
3.shuffle:：是否将数据打乱
4.sampler： 样本抽样，后续会详细介绍
5.num_workers：使用多进程加载的进程数，0代表不使用多进程
6.collate_fn： 如何将多个样本数据拼接成一个batch，一般使用默认的拼接方式即可
7.pin_...

			
		

	





	

		

			

				
					
torch.utils.data.Dataset/TensorDataset

				
			

			

				

					不知道起什么名字
				

				

					08-11
					
					345
					
				

			

		

		

			
				
torch.utils.data.Dataset


class MyData(torch.utils.data.Dataset):
    def __init__(self, dt, lb):
        self.dt = dt
        self.lb = lb

    def __len__(self):
        return len(self.dt)

    def __getitem__(self, index):
        return self.lb[index

			
		

	





	

		

			

				
					
python torch.utils.data.DataLoader使用方法

				
			

			

				

					09-17
				

			

		

		

			
				
`torch.utils.data.DataLoader`是PyTorch框架中用于高效加载和处理数据的关键组件。它在机器学习模型的训练过程中起着至关重要的作用，因为它的功能包括数据分批、数据预处理、多线程加载以及可选的随机打乱顺序等。...

			
		

	





	

		

			

				
					
利用torch.utils.data.Dataset自定义数据加载类

				
			

			

				

					12-21
				

			

		

		

			
				
`torch.utils.data.Dataset` 是 PyTorch 提供的一个接口，允许用户自定义数据集类来加载和处理自己的数据。这个类需要重写 `__getitem__()` 和 `__len__()` 方法，以满足特定数据集的需求。本示例中，我们将探讨如何...

			
		

	





	

		

			

				
					
PyTorch：深度学习的革命性框架.zip

				
			

			

				

					03-12
				

			

		

		

			
				
PyTorch还支持数据加载和预处理，通过`torch.utils.data.Dataset`和`torch.utils.data.DataLoader`类可以方便地处理大规模数据集。同时，它还提供了模型保存和加载的功能，便于模型的持久化和继续训练。  在分布式...

			
		

	





	

		

			

				
					
Pytorch-pytorch深度学习教程之线性回归.zip

				
			

			

				

					05-22
				

			

		

		

			
				
PyTorch提供了`torch.utils.data.Dataset`和`torch.utils.data.DataLoader`类来处理数据。你需要创建一个自定义的`Dataset`类，封装你的输入和目标数据，然后使用`DataLoader`来批量加载数据进行训练。例如：  ```...

			
		

	





	

		

			

				
					
PyTorch 源码解读之 torch.utils.data：解析数据处理全流程（非常好，一篇足够）

				
			

			

				

					Highlight_Jin的博客
				

				

					08-07
					
					1755
					
				

			

		

		

			
				
Pytorch解析数据处理全流程

			
		

	





	

		

			

				
					
pytorch_lesson13.1 机器学习的目标与模型评估方法+手动实现数据集切分+手动实现tensordataset并进行模型评估

				
			

			

				

					weixin_51589123的博客
				

				

					05-18
					
					755
					
				

			

		

		

			
				
提示：仅仅是学习记录笔记，搬运了学习课程的ppt内容，本意不是抄袭！望大家不要误解！纯属学习记录笔记！！！！！！

文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结

前言

一、pandas是什么？
示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。
二、使用步骤
1.引入库
代码如下（示例）：
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
im.

			
		

	





	

		

			

				
					
PyTorch之Dataset和TensorDataset

				
			

			

				

					qq_43611080的博客
				

				

					02-02
					
					9361
					
				

			

		

		

			
				
Deep Learning系列 @cxx
Dataset v.s. TensorDataset
使用Pytorch搭建过neural network的小伙伴们都知道，在数据准备步骤里，我们需要把训练集的x和y分装在dataset里，然后将dataset分装到DataLoader中去，便于之后在搭建好的模型中训练。
简言之，dataset是用来做打包和预处理（比如输入资料路径自动读取）；DataLoader则是将整个资料集（dataset）按照batch进行迭代分装或者shuffle（可以得到一个iterat

			
		

	





	

		

			

				
					
问题记录2：关于使用torch.utils.data.TensorDataset()和torch.utils.data.DataLoader()时遇到的一些问题

				
			

			

				

					weixin_42214565的博客
				

				

					08-28
					
					8392
					
				

			

		

		

			
				
本文记录学习过程中遇到的问题、我的解决过程以及学习心得，如有错误之处，欢迎指正！

在学习用pytorch进行数据批处理的过程中用到了torch.utils.data.TensorDataset()和torch.utils.data.DataLoader()函数，练习的代码如下：


import torch
import torch.utils.data as Data

torch.manua...

			
		

	





	

		

			

				
					
B-tree在外部存储和数据库索引中的应用

				
			

			

				

					我的学习成长日记
				

				

					08-25
					
					3154
					
				

			

		

		

			
				
B-tree在外部存储中的应用
大家知道我们在使用数据结构时，常常将其直接放置到内存中。但是大数据量只能放到磁盘中。这里要说的就是，在磁盘存储中，文件系统是如何利用B-tree结构来提高磁盘读取效率的。

首先来说一下内存和磁盘性能上的巨大差别。
大家知道数据在磁盘上存储在特定的扇区。因此要读写特定的数据，需要三步：
1，首先磁头必须移动到正确的磁道上。
2，然后需要等待磁片旋转，使磁

			
		

	





	

		

			

				
					
weibu的深度学习篇之pytorch(4)——utils.data和torchvision

				
			

			

				

					weixin_42667163的博客
				

				

					05-14
					
					930
					
				

			

		

		

			
				
Pytorch涉及数据处理（数据装载、数据预处理、数据增强等）主要工具包

			
		

	





	

		

			

				
					
pytorch学习笔记-各种Dataset的使用

				
			

			

				

					前进！前进！！
				

				

					07-15
					
					3191
					
				

			

		

		

			
				
TensorDataset 可以用来对 tensor 进行打包，就好像 python 中的 zip 功能。
通常用于打包数据 和 标签。
该类通过每一个 tensor 的第一个维度进行索引。因此，该类中的 tensor 第一维度必须相等。
TensorDataset 打包之后，可再送入dataloader中，最后得到迭代的batch_size对象。
参考：

PyTorch 小功能之 TensorDataset


...

			
		

	





	

		

			

				
					
pandas上

				
			

			

				

					weixin_44457930的博客
				

				

					03-16
					
					267
					
				

			

		

		

			
				
pandas是一种高性能、易于使用的数据结构和数据分析工具。
未指定索引，索引就是0,1,2,3,4……

指定索引

通过字典创建一个Series

修改类型

取值


看pandas的官方文档
以series的where为例
1 百度 pandas series where
点击第一个

2 翻到下面找到实例

3 读取数据
import pandas as pd
df = pd.read_csv("./dogNames2.csv")
print(df)

输出
     Row_Labels  Co

			
		

	





	

		

			

				
					
from torch.utils.data import TensorDataset,DataLoader含义

				
			

			

				

					06-06
				

			

		

		

			
				
`TensorDataset` 和 `DataLoader` 是 PyTorch 中用于数据处理和批量加载的工具。

`TensorDataset` 可以将数据集作为参数传入，将每个样本和标签封装成一个元组，然后将所有元组存储在一个数据集中。

`DataLoader` 则可以将一个数据集分成多个小批量进行加载，方便训练模型。可以设置批量大小、是否随机打乱数据和是否使用多线程等参数。

下面是一个简单的例子：

```
import torch
from torch.utils.data import TensorDataset, DataLoader

# 创建数据集
x = torch.randn(100, 3)
y = torch.randn(100, 1)
dataset = TensorDataset(x, y)

# 创建数据加载器
dataloader = DataLoader(dataset, batch_size=10, shuffle=True)

# 遍历数据集
for batch_x, batch_y in dataloader:
    print(batch_x.shape, batch_y.shape)
```

在这个例子中，我们先创建了一个包含 100 个样本和标签的数据集 `dataset`，然后使用 `DataLoader` 将其分成批量大小为 10 的小批量，并打乱数据。在遍历数据集时，每次输出一个小批量的样本和标签，其形状分别为 `(10, 3)` 和 `(10, 1)`。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 6

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
耐心的小黑

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值