Pytorch中如何加载数据、Tensorboard、Transforms的使用

最新推荐文章于 2024-08-19 15:45:05 发布
最新推荐文章于 2024-08-19 15:45:05 发布
阅读量913 收藏 1
点赞数
分类专栏： 机器学习 文章标签： pytorch 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30353203/article/details/131905959
版权

一、Pytorch中如何加载数据
在Pytorch中涉及到如何读取数据，主要是两个类一个类是Dataset、Dataloader
Dataset 提供一种方式获取数据，及其对应的label。主要包含以下两个功能：
如何获取每一个数据以及label
告诉我们总共有多少的数据

Dataloader，可以对数据进行打包，为后面的网络提供不同的数据形式。

二、Tensorboard的使用，用来观察训练结果

from torch.utils.tensorboard import SummaryWriter

writer = SummaryWriter("log")

# writer.add_image()

for i in range(100):
    writer.add_scalar("y=x", i, i)

writer.close()

在Terminal中先切换到conda activate pytorch
使用命令 tensorboard --logdir=logs
在这里插入图片描述

TensorBoard的使用
1、使用add_image()方法

from torch.utils.tensorboard import SummaryWriter
import numpy as np
from PIL import Image
# 利用openCV中的numpy库可以获得numpy型的图片

writer = SummaryWriter("log")
img_path = "../dataset/bees/26589803_5ba7000313.jpg"
img_PIL = Image.open(img_path)    # 打开图片
img_array = np.array(img_PIL)     # 图片转换
print(type(img_array))   # 打印图片类型
print(img_array.shape)  # 打印图片格式

writer.add_images("test", img_array, 2, dataformats='HWC')  # 根据img_array.shape来指定，如果不指定dataformats就会报错
# y = 2x
for i in range(100):
    writer.add_scalar("y=2x", 2*i, i)

writer.close()

在这里插入图片描述
三、Transforms的使用
transform表示对图片进行一些变换
python的用法 -> tensor数据类型
通过transform.ToTensor去解决两个问题：
transforms该如何使用（Python）
为什么我们需要Tensor的数据类型？
在这里插入图片描述

from torchvision import transforms
from PIL import Image

img_path = "../dataset/bees/10870992_eebeeb3a12.jpg"
img = Image.open(img_path)
tensor_trans = transforms.ToTensor()
tensor_img = tensor_trans(img)
print(tensor_img)

运行后的结果

D:\tools\anaconda\envs\pytorch\python.exe D:/code/captcha_ocr-main/learn/transforms.py
tensor([[[0.5725, 0.5725, 0.5725,  ..., 0.5686, 0.5725, 0.5765],
         [0.5725, 0.5725, 0.5725,  ..., 0.5686, 0.5725, 0.5765],
         [0.5686, 0.5686, 0.5725,  ..., 0.5686, 0.5725, 0.5765],
         ...,
         [0.5490, 0.5647, 0.5725,  ..., 0.6314, 0.6235, 0.6118],
         [0.5608, 0.5765, 0.5843,  ..., 0.5961, 0.5843, 0.5765],
         [0.5725, 0.5843, 0.5922,  ..., 0.5647, 0.5529, 0.5490]],

        [[0.4471, 0.4471, 0.4471,  ..., 0.4235, 0.4275, 0.4314],
         [0.4471, 0.4471, 0.4471,  ..., 0.4235, 0.4275, 0.4314],
         [0.4431, 0.4431, 0.4471,  ..., 0.4235, 0.4275, 0.4314],
         ...,
         [0.4000, 0.4157, 0.4235,  ..., 0.4706, 0.4627, 0.4510],
         [0.4118, 0.4275, 0.4353,  ..., 0.4431, 0.4314, 0.4235],
         [0.4235, 0.4353, 0.4431,  ..., 0.4118, 0.4000, 0.3961]],

        [[0.2471, 0.2471, 0.2471,  ..., 0.2588, 0.2627, 0.2667],
         [0.2471, 0.2471, 0.2471,  ..., 0.2588, 0.2627, 0.2667],
         [0.2431, 0.2431, 0.2471,  ..., 0.2588, 0.2627, 0.2667],
         ...,
         [0.2157, 0.2314, 0.2392,  ..., 0.2510, 0.2431, 0.2314],
         [0.2275, 0.2431, 0.2510,  ..., 0.2196, 0.2078, 0.2000],
         [0.2392, 0.2510, 0.2588,  ..., 0.1961, 0.1843, 0.1804]]])

Process finished with exit code 0

加载tensor类型的图片：

from torchvision import transforms
from PIL import Image
from torch.utils.tensorboard import SummaryWriter
img_path = "../dataset/bees/10870992_eebeeb3a12.jpg"
img = Image.open(img_path)
writer = SummaryWriter("log")
tensor_trans = transforms.ToTensor()
tensor_img = tensor_trans(img)
writer.add_image("Tensor_img", tensor_img)
writer.close()

四、常见的transforms类的使用

  1. ToTensor类
    将PIL图片转换成tensor图片。
from torchvision import transforms
from PIL import Image
from torch.utils.tensorboard import SummaryWriter
# Tensor的使用
writer = SummaryWriter("log")
img_path = "../dataset/bees/10870992_eebeeb3a12.jpg"
img = Image.open(img_path)
print(img)
tensor_trans = transforms.ToTensor()    # 创建ToTensor()对象
tensor_img = tensor_trans(img)    # 传入图片参数，将PIL图片转换成tensor图片
writer.add_image("Tensor_img", tensor_img)
writer.close()

在这里插入图片描述
2. Normalize类

对tensor类型的图片进行归一化处理。
Normalize的使用：归一化处理
公式：output[channel] = (input[channel] - mean[channel]) / std[channel]

from torchvision import transforms
from PIL import Image
from torch.utils.tensorboard import SummaryWriter

# Tensor的使用
writer = SummaryWriter("log")
img_path = "../dataset/bees/10870992_eebeeb3a12.jpg"
img = Image.open(img_path)
print(img)


tensor_trans = transforms.ToTensor()
tensor_img = tensor_trans(img)

writer.add_image("Tensor_img", tensor_img)

# Normalize的使用
print(tensor_img[0][0][0])    # 归一化处理之前的数据
trans_norm = transforms.Normalize([0.5, 0.5, 0.5], [0.5, 0.5, 0.5])
img_norm = trans_norm(tensor_img)
print(img_norm[0][0][0])     # 归一化处理后的结果
writer.add_image("Normalize", img_norm)

writer.close()

在这里插入图片描述
在这里插入图片描述
3. Resize类：
重置图片大小。

from torchvision import transforms
from PIL import Image
from torch.utils.tensorboard import SummaryWriter

# Tensor的使用
writer = SummaryWriter("log")
img_path = "../dataset/bees/10870992_eebeeb3a12.jpg"
img = Image.open(img_path)
print(img)


tensor_trans = transforms.ToTensor()
tensor_img = tensor_trans(img)

writer.add_image("Tensor_img", tensor_img)

print(tensor_img[0][0][0])    # 归一化处理之前的数据
trans_norm = transforms.Normalize([1, 3, 5], [3, 2, 1])
img_norm = trans_norm(tensor_img)
print(img_norm[0][0][0])     # 归一化处理后的结果
writer.add_image("Normalize", img_norm)

writer.close()

# Resize的使用:重置图片大小
print(img.size)    # (500, 464) 
trans_resize = transforms.Resize((512, 512))

img_resize = trans_resize(img)
print(img_resize)   # <PIL.Image.Image image mode=RGB size=512x512 at 0x2A17E774248> 
 
img_resize = tensor_trans(img_resize)
writer.add_image("Resize", img_resize, 0)
print("" + img_resize)
writer.close()

在这里插入图片描述
在这里插入图片描述
4. Compose的使用
等比例缩放。
Compose的使用：整体缩放，不改变高宽比例
Compose()中的参数需要的是一个列表，列表中的数据需要的是transforms类型。
即 Compose([transforms参数1, transforms参数2, …])

from torchvision import transforms
from PIL import Image
from torch.utils.tensorboard import SummaryWriter

# Tensor的使用
writer = SummaryWriter("log")
img_path = "../dataset/bees/10870992_eebeeb3a12.jpg"
img = Image.open(img_path)
print(img)


tensor_trans = transforms.ToTensor()
tensor_img = tensor_trans(img)

writer.add_image("Tensor_img", tensor_img)

print(tensor_img[0][0][0])    # 归一化处理之前的数据
trans_norm = transforms.Normalize([1, 3, 5], [3, 2, 1])
img_norm = trans_norm(tensor_img)
# print(img_norm[0][0][0])     # 归一化处理后的结果
writer.add_image("Normalize", img_norm)


# Resize的使用:重置图片大小
print(img.size)    # (500, 464)
trans_resize = transforms.Resize((512, 512))

img_resize = trans_resize(img)
print(img_resize)   # <PIL.Image.Image image mode=RGB size=512x512 at 0x2A17E774248>

# Compose的使用
img_resize = tensor_trans(img_resize)
writer.add_image("Resize", img_resize, 0)
# print(img_resize)
trans_resize_2 = transforms.Resize(1024)
trans_compose = transforms.Compose([trans_resize_2, tensor_trans])
img_resize_2 = trans_compose(img)
writer.add_image("Resize", img_resize_2, 1)

writer.close()

5.RandomCrop类的使用

随机裁剪。

from torchvision import transforms
from PIL import Image
from torch.utils.tensorboard import SummaryWriter

# Tensor的使用
writer = SummaryWriter("log")
img_path = "../dataset/bees/10870992_eebeeb3a12.jpg"
img = Image.open(img_path)
print(img)


tensor_trans = transforms.ToTensor()
tensor_img = tensor_trans(img)

writer.add_image("Tensor_img", tensor_img)

print(tensor_img[0][0][0])    # 归一化处理之前的数据
trans_norm = transforms.Normalize([1, 3, 5], [3, 2, 1])
img_norm = trans_norm(tensor_img)
# print(img_norm[0][0][0])     # 归一化处理后的结果
writer.add_image("Normalize", img_norm)


# Resize的使用:重置图片大小
print(img.size)    # (500, 464)
trans_resize = transforms.Resize((512, 512))

img_resize = trans_resize(img)
print(img_resize)   # <PIL.Image.Image image mode=RGB size=512x512 at 0x2A17E774248>


#  Compose的使用：
img_resize = tensor_trans(img_resize)
writer.add_image("Resize", img_resize, 0)
# print(img_resize)
trans_resize_2 = transforms.Resize(1024)
trans_compose = transforms.Compose([trans_resize_2, tensor_trans])
img_resize_2 = trans_compose(img)
writer.add_image("Resize", img_resize_2, 1)


# RendomCrop类的使用：随机裁剪
# trans_random = transforms.RandomCrop(512)
trans_random = transforms.RandomCrop(1000, 500)
trans_compose_2 = transforms.Compose([trans_random, tensor_trans])
for i in range(10):
    img_crop = trans_compose_2(img)
    # writer.add_image("RancomCrop", img_crop, i)
    writer.add_image("RancomCropHW", img_crop, i)

writer.close()

在这里插入图片描述

NeilNiu
关注
专栏目录
10、PyTorch教程---加载数据
Knowledgebase的博客
09-26 197
PyTorch包括一个名为torchvision的包，用于加载和准备数据集。它包括两个基本函数，即Dataset和DataLoader，用于数据集的转换和加载。我们使用Python包Pandas来加载CSV文件。原始文件具有以下格式：（图像名称，68个标记点 - 每个标记点有x、y坐标）。DataLoader用于对数据进行随机排列和分批处理。它可以与多进程工作器一起并行加载数据。数据集用于从给定的数据集中读取和转换数据点。**DataLoader（数据加载器）****Dataset（数据集）**
系统学习Pytorch笔记八：Tensorboard可视化与Hook机制
Miracle8070
04-27 3487
Pytorch官方英文文档：https://pytorch.org/docs/stable/torch.html? Pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/ 1. 写在前面 疫情在家的这段时间，想系统的学习一遍Pytorch基础知识，因为我发现虽然直接Pytorch实战上手比较快，但是关于一些内部的原理知识其实并不是太懂，这样...
Pytorch的数据加载
abysswatcher1的博客
08-09 162
PyTorch将数据集的处理过程标准化，提供了Dataset基本的数据 类，并在torchvision中提供了众多数据变换函数，数据加载的具体过程 主要分为3步： 1．继承Dataset类 对于数据集的处理，PyTorch提供了torch.utils.data.Dataset这个抽象 类，在使用时只需要继承该类，并重写__len__()和__getitem()__函数， 即可以方便地进行数据集的迭代。 from torch.utils.data import Dataset class my_data(Da
PyTorch之TensorBoard使用
最新发布
m0_73991249的博客
08-19 1384
在学习这篇之前建议先按照上一篇搭建好整个PyTorch环境然后这一篇讲怎么用TensorBoard，这个玩意是Tensorflow官方推出的一个可视化工具，当使用Tensorflow训练大量深层的时，我们希望去跟踪神经网络的整个训练过程中的信息，并希望能在训练的过程中将一些信息加以记录并可视化得表现出来，TensorBoard就能做到。
Pytorch数据加载
qq_45755106的博客
04-22 229
Pytorch数据加载 目录： 数据集类 数据加载器类 pytorch自带数据集 参考资料 使用方法： 1.准备好Dataset实例 2.将dataset交给dataloader打乱顺序，组成batch 1.数据集类 要使用自定义数据集就要继承torch.utils.data.Dataset类，并实现Dataset类的 getitem() 和 len() 方法 我们首先来看一下torch.utils.data.Dataset类源码是怎样写的： class Dataset(object): """
pytorch加载数据
Hekena的博客
08-28 218
加载数据关键在于：torch.utils.data.Dataloader(可以加载数据集，并将数据集转为Tensor形式） #安装包 !pip install torchaudio import torch import torchaudio #访问数据集 yesno_data=torchaudio.datasets.YESNO('./',download=True) #加载数据集 data_loader=torch.utils.data.DataLoader(yesno_data,batch_size
pytorch入门教程，涵盖数据加载，tensorboard使用，数据类型转换，torchvision中数据集的使用等等
03-11
- 使用`transforms`模块中的转换器，如`ToTensor()`，可以自动地将PIL图像转换为Tensor。 #### 4. torchvision 中数据集的使用 - **常用数据集**： - `torchvision.datasets.ImageFolder`：适用于图像分类问题，...
PyTorch里如何利用TensorBoard--详解
热门推荐
织席贩履之辈
04-20 1万+
在这份文档中，将记录以下几点： 读取数据，并作适当的数据转换； 设置TensorBoard； 写入TensorBoard相关内容； 利用TensorBoard查看模型结构； 利用TensorBoard创建可视化的交互界面； 特别是在第5点中，我们将看到： 查看训练数据的几种方式； 在训练时如何追踪模型的性能； 训练结束后，如何评估模型的性能。 本文所用数据集为 CIFAR-10。 # im...
小土堆：Pytorch深度学习：Transforms的使用
Brightyang666的博客
06-08 541
在数学上，张量是一个可以表示在一些向量，标量和其他张量之间的线性关系的多线性函数。但在机器学习（特别是在深度学习）中，当我们谈到“张量”，我们通常是在谈论一个多维数组。Transforms主要是用于图片的转换等一系列预处理操作，例如数据中心化，缩放，裁剪，旋转，翻转，填充，添加噪声，灰度变换，线性变换，仿射变换，亮度，饱和度，对比变换等。原因2：学习Pytorch深度学习，必不可少的就是学习神经网络，而Tensor数据类型正是满足神经网络的一种数据类型。第二个问题：2.为什么需要tensor数据类型？
pytorch中tensorboard的简单使用（pytorch官网翻译）
Ma Sizhou
06-14 1817
原文：https://pytorch.org/docs/stable/tensorboard.html#torch-utils-tensorboard 注：翻译了pytorch官方对于tensorboard的使用。 在继续之前，可以在https://www.tensorflow.org/tensorboard/上找到有关 TensorBoard 的更多详细信息。 目录1、tensorboard的简要介绍：2、torch.utils.tensorboard涉及的几个函数：2.1 SummaryWri.
pytorch——数据加载
hxyzs的博客
10-14 186
是用于加载数据集的类。它可以处理数据的批量加载、数据随机洗牌、多进程数据加载等操作。通过将数据集和数据加载器结合使用，你可以有效地迭代整个数据集，并将数据提供给模型进行训练。模块，你可以更轻松地处理和加载数据，尤其是在深度学习任务中，它可以帮助你构建数据管道，使数据在训练过程中流畅地传递给模型。是 PyTorch 提供的一个模块，用于构建和操作数据加载和处理管道。这个模块包含了一些重要的类和函数，用于创建自定义数据集、数据加载器以及数据预处理。也提供了一些数据预处理函数，用于在数据加载时进行转换。
PyTorch加载数据
qq_44901656的博客
07-20 198
Pytorch加载数据
Pytorch中的数据加载
weixin_43498449的博客
05-26 1701
目录 1. 模型中使用数据加载器的目的 2. 数据集类 2.1 Dataset基类介绍 2.2 数据加载案例 3. 迭代数据集 4. pytorch自带的数据集 4.1 torchversion.datasets 4.2 MNIST数据集的介绍 1. 模型中使用数据加载器的目的 在前面的线性回归模型中，我们使用的数据很少，所以直接把全部数据放到模型中去使用。 但是在深度学习中，数据量通常是都非常多，非常大的，如此大量的数据，不可能一次性的在模型中进行向前的计算和反向传播，经常
3.PyTorch加载数据
weixin_43866408的博客
05-10 845
参考PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】P6~15 Dataset类 Dataset类一个表示数据集的抽象类torch.utils.data.Dataset 通过继承Dataset类可以实现数据集的加载，定义三个函数，分别是：初始化 __init__()、获得每一个数据 __getitem__()、数据长度 __len__()。 这里面的过程，要很清楚： __init__()用于初始化数据集的配置，例如数据集的路径、文件名称； __getitem__()用于获取给定键对应的数据
Pytorch数据加载 （一）
heiheihei000000的博客
07-24 189
1.数据加载 在pytorch中，数据加载可以通过自定义的数据集对象实现。数据集对象被抽象为Dataset类，实现自定义的数据集需要继承Datase类，并且实现Python的两个魔法方法。 a.**__getitem__**:返回一条数据或者样本。如obj[index]等价于obj.__getitem__(index)。如果定义一个 class Dataset(....): dataset =Dataset(.....) dataset[0]就是按照索引获取我们实际需要的目标以及目标的类别，拿简单
P2：PyTorch加载数据
不错就是对的博客
01-07 211
PyTorch中：创建、加载数据集
【深度学习入门篇 ③】PyTorch的数据加载
小森的博客
07-11 1571
定义数据集包含的数据和标签# 当数据集被读取时，返回一个包含数据和标签的元组。
用pytorch训练模型并用tensorboardX记录loss曲线，acc曲线，给出代码演示
05-30
好的，下面是一个简单的用PyTorch训练模型并用tensorboardX记录loss曲线和acc曲线的代码演示： ```python import torch import torch.nn as nn import torch.optim as optim from torch.utils.tensorboard import ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NeilNiu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值