PyTorch的学习（3）--读取数据

Lilili..

已于 2022-11-01 09:38:54 修改

阅读量1.2k

点赞数

分类专栏： Pytorch学习文章标签： pytorch

于 2022-04-12 19:38:31 首次发布

本文链接：https://blog.csdn.net/weixin_46042803/article/details/123922727

版权

Pytorch学习专栏收录该内容

4 篇文章 0 订阅

订阅专栏

本文详细介绍了如何使用Dataset获取并处理数据及其标签，Dataloader的数据转换，以及如何利用TensorBoard进行模型可视化。涵盖了ToTensor、Normalize、Resize、Compose等变换方法，以及如何使用这些工具进行图像预处理和Loss曲线跟踪。

摘要由CSDN通过智能技术生成

Dataset——提供一种方式去获取数据及其label（read_data.py)

如何获取每一个数据及其label
告诉我们总共有多少数据

Dataloder——为后面的网络提供不同的数据形式.

TensorBoard

TensorBoard是一个可视化工具，它可以用来展示网络图、张量的指标变化、张量的分布情况。（张量-Tensor：pytorch中的基本操作对象，可以看做是包含单一数据类型元素的多维矩阵）

安装TensorBoard，pip install tensorboard

1、如何打开事件文件？

在终端输入：tensorboard --logdir=logs/事件文件所在文件夹名（改端口：--port=6007）
当出现一张图片两种数值比例，如y=2x，y=3x，图片会出错，可以先删除logs文件夹的文件，然后对按ctrl+c，quit退出，再重新建立一个日志。

2、常用函数

writer = SummaryWriter("logs") #创建一个tensorboard文件，保存目录“logs”
writer.add_scalar("标签"，标签的值y(scalar_value)，x轴坐标(global_step)) #画loss曲线writer.add_image(

tag,img_tensor (torch.Tensor, numpy.array, or string/blobname)
global_step (int): Global step value to record
walltime (float): 
dataformats="hwc": 数据通道格式

)
writer.add_graph() #创建Graphs，Graphs中存放了网络结构 model：pytorch模型 input_to_model：pytorch模型的输入

3、读取图片，并使用numpy转换类型

import numpy as np
from PIL import Image

image_path="Data/train/ants_image/0013035.jpg"
img_PIL = Image.open(image_path)      #读取图片
img_array = np.array(img_PIL)         #转换图片类型

注：从PIL到numpy，需要在add_image()中指定shape中每一个数字/维表示的含义

Transforms

对图片进行一些变换，transforms.py工具箱。

python的用法 =》 tensor数据类型

通过transforms.ToTensor去解决两个问题

1、transforms如何使用？

from torchvision import transforms

# 将图片转换成tensor的image
tensor_trans = transforms.ToTensor()   #创建一个工具
tensor_img = tensor_trans(img)         #将图片img转换成tensor类型

2、为什么我们需要Tensor数据类型

3、常见的Transforms

输入：PIL ——Image.open()
输入：tensor ——ToTensor()
作用t：narrays ——cv.imread()

call与普通def的区别

class Person:
    def __call__(self, name):
        print("__call__"+"hello" +name)

    def hello(self, name):
        print("hello"+name)

person= Person()
person("zhangsan")
person.hello("lisi")

输出：
__call__hellozhangsan
hellolisi

ToTensor

将``PIL Image`` or ``numpy.ndarray``转换成 tensor

trans_totensot = transforms.ToTensor()
img_tensor = trans_totensot(img)
writer.add_image("ToTensor",img_tensor)

Normalize——图像标准化

output[channel] = (input[channel] - mean[channel]) / std[channel]
(input-0.5)/0.5=2*input-1 input属于[0,1] result属于[-1,1]

归一化目的：就是将不同尺度上的评判结果统一到一个尺度上，从而可以作比较，作计算

# Normalize
print(img_tensor[0][0][0])
trans_norm = transforms.Normalize([6,3,2],[9,3,5])
img_norm = trans_norm(img_tensor)
print(img_norm[0][0][0])
writer.add_image("Normalize",img_norm,2)

Resize——调整图像大小

print(img.size)
trans_resize = transforms.Resize((512,512))
# img PIL -> resize -> img_resize PIL
img_resize = trans_resize(img)
# img_resize PIL -> totensor -> img_resize tensor
img_resize = trans_totensor(img_resize)
writer.add_image("Resize",img_resize,0)
print(img_resize)

Compose - resize

把多个步骤整合在一起

trans_resize_2 = transforms.Resize(512)
#PIL -> PIL -> tensor
trans_compose = transforms.Compose([trans_resize_2,trans_totensor])
img_resize_2 = trans_compose(img)
writer.add_image("Resize",img_resize_2,1)

RandomCrop 裁剪图片

# RandomCrop 随机裁剪
trans_random = transforms.RandomCrop(500,1000)
trans_compose_2 = transforms.Compose([trans_random, trans_totensor])
for i in range(10):
    img_crop = trans_compose_2(img)
    writer.add_image("RandomCrop", img_crop, i)

4、使用技巧总结

关注输入输出类型
多看官方文档
关注方法需要什么参数

注：不知道返回值时，使用print(type)