Pytorch学习日记（3）：一些基础语法（预处理+导入数据集）

Asiip

已于 2023-03-27 14:13:28 修改

阅读量420

点赞数

文章标签： python 学习深度学习

于 2023-03-17 20:25:58 首次发布

本文链接：https://blog.csdn.net/asiip/article/details/127292193

版权

学习大纲

参考视频：Pytorch学习

1.基础环境配置
2.图像的预处理

P3.两大函数

1.dir（）：打开

dir(torch)
dir(torch.cuda)
dir(torch.cuda.is_available)

2.help（）：说明书

help(torch.cuda.is_available)
Help on function is_available in module torch.cuda:
is_available() -> bool
    Returns a bool indicating if CUDA is currently available.

在这里插入图片描述

P4.Pycharm 和Jupyter比较

在这里插入图片描述

在pytorch环境下安装Jupyter

在prompt中输入一下命令

conda install nb_conda

使用jupyter

jupyter notebook

shitf+回车运行jupyter中的代码

P5.加载数据

Dateset：提供一种方式获取数据以及label
Dateloader：为网络提供不同的数据形式 eg.打包

以蚂蚁和蜜蜂数据集为例子
在这里插入图片描述
另一种组织形式

from torch.utils.data import Dataset
help(Dataset)

P6.Dataset代码实战

在这里插入图片描述

from torch.utils.data import Dataset
from PIL import Image
import os


class MyData(Dataset):

    def __init__(self, root_dir, label_dir):  # 初始化
        self.root_dir = root_dir  # 根目录
        self.label_dir = label_dir  # 类别目录
        self.path = os.path.join(self.root_dir, self.label_dir)  # 合并目录
        self.image_path = os.listdir(self.path)

    def __getitem__(self, idx):  # 返回一个数组
        img_name = self.image_path[idx]
        img_item_path = os.path.join(self.root_dir, self.label_dir, img_name)
        img = Image.open(img_item_path)
        label = self.label_dir
        return img, label

    def __len__(self):  # 获取图片数
        return len(self.image_path)


root_dir = "dataset/train"
ants_label_dir = "ants"
bees_label_dir = "bees"
ants_dataset = MyData(root_dir, ants_label_dir)
bees_dataset = MyData(root_dir, bees_label_dir)
img, label = ants_dataset[0]
img.show()
print(label)
img, label = bees_dataset[0]
img.show()
print(label)
train_dataset = ants_dataset + bees_dataset  # 数据集的拼接
print(len(train_dataset))
img, label = train_dataset[123]
img.show()
img, lebel = train_dataset[124]
img.show()

一些函数用法

1.os.listdir()
用于返回指定的文件夹包含的文件或文件夹的名字的列表。这个列表以字母顺序。它不包括 . 和 … 即使它在文件夹中。

P8-P9 TensorBoard使用

SummaryWrite类

from torch.utils.tensorboard import SummaryWriter

writer = SummaryWriter("logs")

# writer.add_image()
# y=x
for i in range(100):
    writer.add_scalar("y=x", i, i)  # 绘制图像，三个参数分别为：标题，y轴，x轴

运行该文件后产生一个logs文件，在终端中输入以下命令

tensorboard --logdir=logs

点击链接即可看到绘制出的图像
在这里插入图片描述
重新绘制图片时需要将log文件中内容删掉

numpy.array()

将PIL图片类型转换为numpy图片类型

from torch.utils.tensorboard import SummaryWriter
from PIL import Image
import numpy as np

writer = SummaryWriter("logs")
img_path="rename_label/dataset/train/bees_image/16838648_415acd9e3f.jpg"
img_PIL=Image.open(img_path)
img_array=np.array(img_PIL)   # 将图片转换为numpy数据类型
print(type(img_array))
print(img_array.shape)        # 三通道(H,W,C)

writer.add_image("test",img_array,1,dataformats='HWC')  # 从PIL到numpy需要指定shape中每个数字表示的含义
#y=2x
for i in range(1000):
    writer.add_scalar("y=2x",2*i,i)

writer.close()

P10-P11 Transform使用

作用：对图片进行一些变化
知识点
1.transform如何使用(Python)
2.为什么需要Tensors数据类型
在这里插入图片描述

from PIL import Image
from torch.utils.tensorboard import SummaryWriter
from torchvision import transforms

# python的用法 =>tensor的数据类型
# 通过transforms.ToTensor去解决两个问题


# 绝对路径  C:\Users\yxf\Desktop\lenrn_pytorch\rename_label\dataset\train\ants_image\0013035.jpg
# 相对路径  rename_label/dataset/train/ants_image/0013035.jpg
img_path = "rename_label/dataset/train/ants_image/0013035.jpg"
img = Image.open(img_path)         # PIL image


writer = SummaryWriter("logs")

# 1、一个问题是transform如何使用(Python)
# 2、为什么需要Tensors数据类型 : 便于神经网络训练
tensor_trans = transforms.ToTensor()
tensor_img = tensor_trans(img)     # 将img图片转化为tensor类型
print(tensor_img)

writer.add_image("Tensor_img",tensor_img)
writer.close()

图片的两种打开方式

1.PIL类型

img_path = "rename_label/dataset/train/ants_image/0013035.jpg"
img = Image.open(img_path)         # PIL image

2.numpy类型

img_path = "rename_label/dataset/train/ants_image/0013035.jpg"
cv_img=cv2.imread(img_path)    # numpy image

P12-13常见的Transforms函数

在这里插入图片描述
图片的三种不同格式

call函数

class Person:
    def __call__(self,name):
        print("__call__"+"Hello "+name)     # 相当于重载了(),在生成实例时调用了call函数

    def hello(self,name):
        print("hello"+name)


person=Person()
person("Zhangsan")
person.hello("lisi")

ToTensor（）

功能：将PIL型图片转为tensor类型
输入：PIL型
输出：tensor型

from PIL import Image
from torch.utils.tensorboard import SummaryWriter
from torchvision import transforms

writer = SummaryWriter("logs")
img = Image.open("image/pytorch.jpg")
print(img)

# ToTensor的使用
trans_totensor = transforms.ToTensor()
img_tensor = trans_totensor(img)    # 将PIL的image变为tensor数据类型
writer.add_image("ToTensor",img_tensor)
writer.close()

Normanize（）

功能：归一化
输入：tensor类型
输出：tensor类型
归一化公式
在这里插入图片描述

from PIL import Image
from torch.utils.tensorboard import SummaryWriter
from torchvision import transforms

writer = SummaryWriter("logs")
img = Image.open("image/pytorch.jpg")
print(img)

# Normanize的使用
print(img_tensor[0][0][0])
trans_norm = transforms.Normalize([0.5,0.5,0.5],[0.5,0.5,0.5])
# 参数1：每个信道的平均值序列 参数2：每个信道的标准差序列
img_norm = trans_norm(img_tensor)
print(img_norm[0][0][0])       # output=(input-0.5)/0.5=2*input-1
writer.add_image("Normalize",img_norm)

writer.close()

一些差别
在这里插入图片描述

Resize（）

功能：调整图片大小
输入：
（1）（h，w）变为相应的高度和宽带
（2）一个数，那么图片的最小边将会匹配该值，然后进行等比缩放

# Resize
print(img.size)
trans_resize = transforms.Resize((512,512))  # 512*512
# img PIL -> resize -> img_resize PIL
img_resize = trans_resize(img)
print(img_resize.size)
# img_resize PIL -> totensor ->img_resize tensor
img_resize = trans_totensor(img_resize)
writer.add_image("Resize",img_resize, 0)
writer.close()

Compose()

功能：用来组合多个transforms的操作
Compose的参数需要的是一个列表，在Python中列表的表示形式为[数据1，数据2，…]
又因为在compose中，数据需要transform类型
输入:
所以得到Compose([transform参数1，transform参数2，…])
注意：不要漏掉 [ ]

# Compose - resize -method2
trans_resize_2 = transforms.Resize(512)  # 512等比缩放
# PIL -> PIL -> tensor
trans_compose = transforms.Compose([trans_resize_2,trans_totensor]) #要有[]
img_resize_2 = trans_compose(img)
writer.add_image("Resize", img_resize_2, 1)

RandomCrop()

功能：随机裁剪

# Random_Crop
trans_random = transforms.RandomCrop(512)
# trans_random = transforms.RandomCrop((500,1000))
trans_compose_2 = transforms.Compose([trans_random, trans_totensor])
for i in range(10):
    img_crop = trans_compose_2(img)
    writer.add_image("RandomCrop", img_crop, i)

总结使用方法

1.关注输入和输出类型
看初始化，如果没有默认值就需要自己输入
2.多看官方文档
3.关注方法需要什么参数
4.不知道返回值的时候

print
print(type())
debug

P14 torchvision(将数据集和transform结合使用)

torchvision.datasets

数据集
pytorch常用数据集

torchvision.models

一些常用的模型

尝试

train_set = torchvision.datasets.CIFAR10(root="./dataset",train=True,download=True)
test_set = torchvision.datasets.CIFAR10(root="./dataset",train=False,download=True)

建议直接将下载链接复制到迅雷里下载
下载CIFAR-10数据集，放到同名的dataset文件下，再次运行py文件即可，压缩文件会自动解压

import torchvision
from torch.utils.tensorboard import SummaryWriter


# 将数据集中的图片转化为tensor类型
dataset_transform = torchvision.transforms.Compose([
    torchvision.transforms.ToTensor()
])

train_set = torchvision.datasets.CIFAR10(root="./dataset",train=True, transform=dataset_transform, download=True)
test_set = torchvision.datasets.CIFAR10(root="./dataset",train=False, transform=dataset_transform, download=True)

# print(test_set[0])
# PIL类型
# print(test_set.classes)
# img, target = test_set[0]
# print(img)
# print(target)
# print(test_set.classes[target])
# img.show()

# print(test_set[0])
# tensor类型

writer = SummaryWriter("P14")
for i in range(10):
    img, target = test_set[i]
    writer.add_image("test_set", img, i)

writer.close()

P15 DataLoader的使用

dataset：告诉你数据集的位置和索引（牌）
dataloader：将数据加载到神经网络中（如何取牌）

dataloader的参数

ctrl+p显示需要的参数
tensorboard --logdir=“…”
dataset：数据集从哪来
batch_size:每次抓几张牌
shuffle: 是否打乱顺序
sampler：
batch_sampler:
num_workers: 加载数据时是否选择多进程，一般默认为0
drop_last: 当除不尽的时候，最后一张牌是否要舍去，true舍去