Pytorch中如何加载数据、Tensorboard、Transforms的使用

最新推荐文章于 2024-04-24 17:55:24 发布
最新推荐文章于 2024-04-24 17:55:24 发布
阅读量846 收藏 1
点赞数
分类专栏： 机器学习 文章标签： pytorch 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30353203/article/details/131905959
版权

一、Pytorch中如何加载数据
在Pytorch中涉及到如何读取数据，主要是两个类一个类是Dataset、Dataloader
Dataset 提供一种方式获取数据，及其对应的label。主要包含以下两个功能：
如何获取每一个数据以及label
告诉我们总共有多少的数据

Dataloader，可以对数据进行打包，为后面的网络提供不同的数据形式。

二、Tensorboard的使用，用来观察训练结果

from torch.utils.tensorboard import SummaryWriter

writer = SummaryWriter("log")

# writer.add_image()

for i in range(100):
    writer.add_scalar("y=x", i, i)

writer.close()

在Terminal中先切换到conda activate pytorch
使用命令 tensorboard --logdir=logs
在这里插入图片描述

TensorBoard的使用
1、使用add_image()方法

from torch.utils.tensorboard import SummaryWriter
import numpy as np
from PIL import Image
# 利用openCV中的numpy库可以获得numpy型的图片

writer = SummaryWriter("log")
img_path = "../dataset/bees/26589803_5ba7000313.jpg"
img_PIL = Image.open(img_path)    # 打开图片
img_array = np.array(img_PIL)     # 图片转换
print(type(img_array))   # 打印图片类型
print(img_array.shape)  # 打印图片格式

writer.add_images("test", img_array, 2, dataformats='HWC')  # 根据img_array.shape来指定，如果不指定dataformats就会报错
# y = 2x
for i in range(100):
    writer.add_scalar("y=2x", 2*i, i)

writer.close()

在这里插入图片描述
三、Transforms的使用
transform表示对图片进行一些变换
python的用法 -> tensor数据类型
通过transform.ToTensor去解决两个问题：
transforms该如何使用（Python）
为什么我们需要Tensor的数据类型？
在这里插入图片描述

from torchvision import transforms
from PIL import Image

img_path = "../dataset/bees/10870992_eebeeb3a12.jpg"
img = Image.open(img_path)
tensor_trans = transforms.ToTensor()
tensor_img = tensor_trans(img)
print(tensor_img)

运行后的结果

D:\tools\anaconda\envs\pytorch\python.exe D:/code/captcha_ocr-main/learn/transforms.py
tensor([[[0.5725, 0.5725, 0.5725,  ..., 0.5686, 0.5725, 0.5765],
         [0.5725, 0.5725, 0.5725,  ..., 0.5686, 0.5725, 0.5765],
         [0.5686, 0.5686, 0.5725,  ..., 0.5686, 0.5725, 0.5765],
         ...,
         [0.5490, 0.5647, 0.5725,  ..., 0.6314, 0.6235, 0.6118],
         [0.5608, 0.5765, 0.5843,  ..., 0.5961, 0.5843, 0.5765],
         [0.5725, 0.5843, 0.5922,  ..., 0.5647, 0.5529, 0.5490]],

        [[0.4471, 0.4471, 0.4471,  ..., 0.4235, 0.4275, 0.4314],
         [0.4471, 0.4471, 0.4471,  ..., 0.4235, 0.4275, 0.4314],
         [0.4431, 0.4431, 0.4471,  ..., 0.4235, 0.4275, 0.4314],
         ...,
         [0.4000, 0.4157, 0.4235,  ..., 0.4706, 0.4627, 0.4510],
         [0.4118, 0.4275, 0.4353,  ..., 0.4431, 0.4314, 0.4235],
         [0.4235, 0.4353, 0.4431,  ..., 0.4118, 0.4000, 0.3961]],

        [[0.2471, 0.2471, 0.2471,  ..., 0.2588, 0.2627, 0.2667],
         [0.2471, 0.2471, 0.2471,  ..., 0.2588, 0.2627, 0.2667],
         [0.2431, 0.2431, 0.2471,  ..., 0.2588, 0.2627, 0.2667],
         ...,
         [0.2157, 0.2314, 0.2392,  ..., 0.2510, 0.2431, 0.2314],
         [0.2275, 0.2431, 0.2510,  ..., 0.2196, 0.2078, 0.2000],
         [0.2392, 0.2510, 0.2588,  ..., 0.1961, 0.1843, 0.1804]]])

Process finished with exit code 0

加载tensor类型的图片：

from torchvision import transforms
from PIL import Image
from torch.utils.tensorboard import SummaryWriter
img_path = "../dataset/bees/10870992_eebeeb3a12.jpg"
img = Image.open(img_path)
writer = SummaryWriter("log")
tensor_trans = transforms.ToTensor()
tensor_img = tensor_trans(img)
writer.add_image("Tensor_img", tensor_img)
writer.close()

四、常见的transforms类的使用

  1. ToTensor类
    将PIL图片转换成tensor图片。
from torchvision import transforms
from PIL import Image
from torch.utils.tensorboard import SummaryWriter
# Tensor的使用
writer = SummaryWriter("log")
img_path = "../dataset/bees/10870992_eebeeb3a12.jpg"
img = Image.open(img_path)
print(img)
tensor_trans = transforms.ToTensor()    # 创建ToTensor()对象
tensor_img = tensor_trans(img)    # 传入图片参数，将PIL图片转换成tensor图片
writer.add_image("Tensor_img", tensor_img)
writer.close()

在这里插入图片描述
2. Normalize类

对tensor类型的图片进行归一化处理。
Normalize的使用：归一化处理
公式：output[channel] = (input[channel] - mean[channel]) / std[channel]

from torchvision import transforms
from PIL import Image
from torch.utils.tensorboard import SummaryWriter

# Tensor的使用
writer = SummaryWriter("log")
img_path = "../dataset/bees/10870992_eebeeb3a12.jpg"
img = Image.open(img_path)
print(img)


tensor_trans = transforms.ToTensor()
tensor_img = tensor_trans(img)

writer.add_image("Tensor_img", tensor_img)

# Normalize的使用
print(tensor_img[0][0][0])    # 归一化处理之前的数据
trans_norm = transforms.Normalize([0.5, 0.5, 0.5], [0.5, 0.5, 0.5])
img_norm = trans_norm(tensor_img)
print(img_norm[0][0][0])     # 归一化处理后的结果
writer.add_image("Normalize", img_norm)

writer.close()

在这里插入图片描述
在这里插入图片描述
3. Resize类：
重置图片大小。

from torchvision import transforms
from PIL import Image
from torch.utils.tensorboard import SummaryWriter

# Tensor的使用
writer = SummaryWriter("log")
img_path = "../dataset/bees/10870992_eebeeb3a12.jpg"
img = Image.open(img_path)
print(img)


tensor_trans = transforms.ToTensor()
tensor_img = tensor_trans(img)

writer.add_image("Tensor_img", tensor_img)

print(tensor_img[0][0][0])    # 归一化处理之前的数据
trans_norm = transforms.Normalize([1, 3, 5], [3, 2, 1])
img_norm = trans_norm(tensor_img)
print(img_norm[0][0][0])     # 归一化处理后的结果
writer.add_image("Normalize", img_norm)

writer.close()

# Resize的使用:重置图片大小
print(img.size)    # (500, 464) 
trans_resize = transforms.Resize((512, 512))

img_resize = trans_resize(img)
print(img_resize)   # <PIL.Image.Image image mode=RGB size=512x512 at 0x2A17E774248> 
 
img_resize = tensor_trans(img_resize)
writer.add_image("Resize", img_resize, 0)
print("" + img_resize)
writer.close()

在这里插入图片描述
在这里插入图片描述
4. Compose的使用
等比例缩放。
Compose的使用：整体缩放，不改变高宽比例
Compose()中的参数需要的是一个列表，列表中的数据需要的是transforms类型。
即 Compose([transforms参数1, transforms参数2, …])

from torchvision import transforms
from PIL import Image
from torch.utils.tensorboard import SummaryWriter

# Tensor的使用
writer = SummaryWriter("log")
img_path = "../dataset/bees/10870992_eebeeb3a12.jpg"
img = Image.open(img_path)
print(img)


tensor_trans = transforms.ToTensor()
tensor_img = tensor_trans(img)

writer.add_image("Tensor_img", tensor_img)

print(tensor_img[0][0][0])    # 归一化处理之前的数据
trans_norm = transforms.Normalize([1, 3, 5], [3, 2, 1])
img_norm = trans_norm(tensor_img)
# print(img_norm[0][0][0])     # 归一化处理后的结果
writer.add_image("Normalize", img_norm)


# Resize的使用:重置图片大小
print(img.size)    # (500, 464)
trans_resize = transforms.Resize((512, 512))

img_resize = trans_resize(img)
print(img_resize)   # <PIL.Image.Image image mode=RGB size=512x512 at 0x2A17E774248>

# Compose的使用
img_resize = tensor_trans(img_resize)
writer.add_image("Resize", img_resize, 0)
# print(img_resize)
trans_resize_2 = transforms.Resize(1024)
trans_compose = transforms.Compose([trans_resize_2, tensor_trans])
img_resize_2 = trans_compose(img)
writer.add_image("Resize", img_resize_2, 1)

writer.close()

5.RandomCrop类的使用

随机裁剪。

from torchvision import transforms
from PIL import Image
from torch.utils.tensorboard import SummaryWriter

# Tensor的使用
writer = SummaryWriter("log")
img_path = "../dataset/bees/10870992_eebeeb3a12.jpg"
img = Image.open(img_path)
print(img)


tensor_trans = transforms.ToTensor()
tensor_img = tensor_trans(img)

writer.add_image("Tensor_img", tensor_img)

print(tensor_img[0][0][0])    # 归一化处理之前的数据
trans_norm = transforms.Normalize([1, 3, 5], [3, 2, 1])
img_norm = trans_norm(tensor_img)
# print(img_norm[0][0][0])     # 归一化处理后的结果
writer.add_image("Normalize", img_norm)


# Resize的使用:重置图片大小
print(img.size)    # (500, 464)
trans_resize = transforms.Resize((512, 512))

img_resize = trans_resize(img)
print(img_resize)   # <PIL.Image.Image image mode=RGB size=512x512 at 0x2A17E774248>


#  Compose的使用：
img_resize = tensor_trans(img_resize)
writer.add_image("Resize", img_resize, 0)
# print(img_resize)
trans_resize_2 = transforms.Resize(1024)
trans_compose = transforms.Compose([trans_resize_2, tensor_trans])
img_resize_2 = trans_compose(img)
writer.add_image("Resize", img_resize_2, 1)


# RendomCrop类的使用：随机裁剪
# trans_random = transforms.RandomCrop(512)
trans_random = transforms.RandomCrop(1000, 500)
trans_compose_2 = transforms.Compose([trans_random, tensor_trans])
for i in range(10):
    img_crop = trans_compose_2(img)
    # writer.add_image("RancomCrop", img_crop, i)
    writer.add_image("RancomCropHW", img_crop, i)

writer.close()

在这里插入图片描述

NeilNiu
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Pytorch深度学习------TensorBoard的使用
LGL
07-22 4508
TensorBoard是一个工具，主要用于数据可视化，用大白话的语言来说就是可以记录在机器学习中表格数据、非表格数据（图片、文本、音频等）等变化，从而在模型中更直观的显示。
pytorch入门教程，涵盖数据加载，tensorboard使用，数据类型转换，torchvision中数据集的使用等等
03-11
pytorch入门教程，涵盖数据加载，tensorboard使用，数据类型转换，torchvision中数据集的使用，Dataloader的使用，神经网络骨架，卷积操作，最大池化层，非线性激活，Flatten操作，Squential的使用，损失函数，反向...
pytorch 自定义数据集加载方法
09-18
今天小编就为大家分享一篇pytorch 自定义数据集加载方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
使用PyTorch加载数据集：简单指南
null18的博客
10-15 819
💗💗💗欢迎来到我的博客，你将找到有关如何使用技术解决问题的文章，也会找到某个技术的学习路线。无论你是何种职业，我都希望我的博客对你有所帮助。最后不要忘记订阅我的博客以获取最新文章，也欢迎在文章下方留下你的评论和反馈。我期待着与你分享知识、互相学习和建立一个积极的社区。
TensorBoard入门——Pytorch中使用（附带案例演示）
m0_61878383的博客
03-08 2507
TensorBoard是一个用于可视化机器学习实验结果的工具，可以帮助我们更好地理解和调试训练过程中的模型。在PyTorch中，我们可以使用TensorBoardX库来与TensorBoard进行交互。TensorBoardX是一个PyTorch的扩展，它允许我们将PyTorch的训练中的关键指标和摘要写入TensorBoard的事件文件中。
PyTorch数据加载详解：从数据源到深度学习模型
DeepViewInsight的博客
09-15 405
除了使用内置数据集类之外，你还可以创建自定义数据加载类以满足特定需求。自定义数据加载类需要继承自类，并实现__len__和方法。在上述示例中，我们创建了一个名为的自定义数据加载类，它接受数据、标签和可选的数据预处理操作作为输入。
Pytorch 加载数据集的几种方法
Kp0fS的草稿纸
04-26 1867
Pytorch 加载数据集的几种方法 总结 坑 方案1： 方案2： train_dataset = torchvision.datasets.MNIST(root='./data', train=True, transform=transforms.ToTensor(), ..
Pytorch入门（一）数据加载初始化及训练过程监控
一个非常Cool的人
05-31 1203
介绍了pytorch中数据集如何加载，以及对数据集的一些处理方式。
TensorBoard快速入门（Pytorch使用TensorBoard）
热门推荐
zhaohongfei_358的博客
07-03 3万+
TensorBoard 简介 TensorBoard 界面介绍 TensorBoard 安装 TensorBoard 运行 Pytorch 使用 TensorBoard Tensor折线图（Scalars）
pytorch中tensorboard的使用
qq_42019881的博客
04-27 1万+
1.首先介绍一下tensorboard TensorBoard是一个可视化工具，它可以用来展示网络图、张量的指标变化、张量的分布情况等。特别是在训练网络的时候，我们可以设置不同的参数（比如：权重W、偏置B、卷积层数、全连接层数等），使用TensorBoader可以很直观的帮我们进行参数的选择。它通过运行一个本地服务器，来监听6006端口。在浏览器发出请求时，分析训练时记录的数据，绘制训练过程中的图像。 2.如何用tensorboard实现Pytorch的模型结构可视化 1.1安装tensorboa.
PyTorch入门教学——TensorBoard使用
计算机硕士的博客
10-20 4626
PyTorch入门教学——TensorBoard使用。TensorBoard简介，TensorBoard安装，SummaryWriter类的使用，add_scalar()的使用，add_image()的使用。
PyTorch入门（七）TensorBoard入门
山阴少年
03-20 1170
本文将会介绍PyTorch中的TensorBoard的使用。
Pytorch 数据加载与数据预处理方式
09-18
今天小编就为大家分享一篇Pytorch 数据加载与数据预处理方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
PyTorch加载自己的数据集实例详解
09-17
主要介绍了PyTorch加载自己的数据集，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
Pytorch中Dataset数据类型定义和使用例子
03-21
该博客实现基于Pytorch的Dataset类型定义的数据，实现基于Pytorch的数据类型的使用，包括batchsize的数据集使用，以及Dataloader,iter和next的使用，适合入门学习。
人工智能入门（一）：基于Pytorch的手写数字识别模型
weixin_63441326的博客
04-21 799
学习过线性代数的话，你可能对矩阵比较熟悉，张量其实就是矩阵向任意维度的推广。（1）如果一个矩阵只有一个元素，那么它被称为0阶张量；（2）如果一个矩阵只有一行或者一列（我们称其为只有一个“轴”），则被称为一阶张量；（3）显然，大部分的矩阵都有m行n列（有两个轴），则就被称为二阶张量；（4）如果将一个二阶张量看作一个整体，由多个二阶张量组成一个新的数组，则二阶张量就被推广为三阶张量；当然，我本人有个小技巧帮助你推导三阶之后的张量。来，跟我念：一个张量、往下拉、往右拉、往后拉；
6.Vgg16--CNN经典网络模型详解（pytorch实现）
最新发布
weixin_71719718的博客
04-24 348
3.下载完后写一个spile_data.py文件，将数据集进行分类。4.再写一个train.py文件，用来训练模型。
PyTorch深度解析：Tensor——神经网络的核心构建块
huanfeng_AI的博客
04-20 1071
具体来说，神经网络的输入数据被转换为Tensor，然后通过一系列的网络层进行前向传播，得到输出Tensor。在训练过程中，根据输出Tensor与真实标签之间的误差，通过反向传播算法计算梯度，并更新网络参数（这些参数也是以Tensor的形式存在的）。本文将深入探讨PyTorch中的Tensor，从其基本定义、特性、操作到实际应用，全面解析其在神经网络中的核心地位。：PyTorch中的Tensor支持多种数据类型，如float32、float64、int32等，以适应不同的计算需求。
分析和比较深度学习框架 PyTorch 和 Tensorflow
weixin_43784341的博客
04-24 580
综上所述，PyTorch和TensorFlow都是强大的深度学习框架，具有各自的优点和适用场景。选择哪个框架取决于你的具体需求、经验以及对框架的偏好。如果你正在寻找一个易于使用和调试的框架，并且更关注实验和原型设计，那么PyTorch可能是一个更好的选择。而如果你需要高性能的分布式训练、强大的硬件支持和丰富的生态系统，那么TensorFlow可能更适合你。PyTorch和TensorFlow都是目前最受欢迎的深度学习框架，它们各自具有独特的优点和特性。
用pytorch训练模型并用tensorboardX记录loss曲线，acc曲线，给出代码演示
05-30
好的，下面是一个简单的用PyTorch训练模型并用tensorboardX记录loss曲线和acc曲线的代码演示： ```python import torch import torch.nn as nn import torch.optim as optim from torch.utils.tensorboard import SummaryWriter from torchvision import datasets, transforms # 定义模型 class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv2d(1, 10, kernel_size=5) self.conv2 = nn.Conv2d(10, 20, kernel_size=5) self.conv2_drop = nn.Dropout2d() self.fc1 = nn.Linear(320, 50) self.fc2 = nn.Linear(50, 10) def forward(self, x): x = nn.functional.relu(nn.functional.max_pool2d(self.conv1(x), 2)) x = nn.functional.relu(nn.functional.max_pool2d(self.conv2_drop(self.conv2(x)), 2)) x = x.view(-1, 320) x = nn.functional.relu(self.fc1(x)) x = nn.functional.dropout(x, training=self.training) x = self.fc2(x) return nn.functional.log_softmax(x, dim=1) # 加载数据集 train_loader = torch.utils.data.DataLoader( datasets.MNIST('../data', train=True, download=True, transform=transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ])), batch_size=64, shuffle=True) test_loader = torch.utils.data.DataLoader( datasets.MNIST('../data', train=False, transform=transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ])), batch_size=1000, shuffle=True) # 定义训练函数 def train(model, device, train_loader, optimizer, criterion, epoch, writer): model.train() for batch_idx, (data, target) in enumerate(train_loader): data, target = data.to(device), target.to(device) optimizer.zero_grad() output = model(data) loss = criterion(output, target) loss.backward() optimizer.step() writer.add_scalar('train_loss', loss.item(), epoch * len(train_loader) + batch_idx) # 定义测试函数 def test(model, device, test_loader, criterion, epoch, writer): model.eval() test_loss = 0 correct = 0 with torch.no_grad(): for data, target in test_loader: data, target = data.to(device), target.to(device) output = model(data) test_loss += criterion(output, target).item() * len(data) pred = output.argmax(dim=1, keepdim=True) correct += pred.eq(target.view_as(pred)).sum().item() test_loss /= len(test_loader.dataset) accuracy = correct / len(test_loader.dataset) writer.add_scalar('test_loss', test_loss, epoch) writer.add_scalar('test_accuracy', accuracy, epoch) # 初始化模型、优化器、损失函数、设备和tensorboard writer model = Net().to('cuda') optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.5) criterion = nn.CrossEntropyLoss() device = 'cuda' writer = SummaryWriter() # 训练和测试模型 for epoch in range(1, 11): train(model, device, train_loader, optimizer, criterion, epoch, writer) test(model, device, test_loader, criterion, epoch, writer) writer.close() ``` 运行上述代码后，就可以在tensorboard中看到train_loss、test_loss和test_accuracy的曲线了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NeilNiu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值