机器学习周报(8.19-8.25）- Pytorch学习（一）

摘要

在之前学习了一些机器学习相关理论之后，本周进行了一些简单的代码实操学习，学习了PyTorch环境的配置及安装，学习了DataSet类对图像数据的处理，简单学习了TensorBoard的安装与使用，实操了一些常见的Transforms对图像的变换操作

Abstract

After learning some theories related to machine learning, I have done some simple code operation learning this week, including the configuration and installation of PyTorch environment, the processing of image data by DataSet class, and the installation and use of TensorBoard. Some common Transforms to images are implemented

1.PyTorch环境的配置及安装

安装Anaconda，网址：https://www.anaconda.com/

安装成功之后，打开Anaconda的命令窗口，左侧有base代表安装成功

在做不同的项目时，可能遇到不同版本的环境，比如这个项目用到pytorch 0.4，另一个项目用到pytorch 1.0，若你卸载了0.4，安装1.0版本，再碰到0.4版本，就要又卸载1.0版本，安装0.4版本。

Anaconda集成的conda包，创造出两个“房子”，一个是0.4版本，一个是1.0版本，需要哪个版本就使用哪个。

使用conda指令，创建一个“屋子”，-n后面是屋子的名字（可以自己起），python=3.8是python3.8版本。

conda create -n pytorch python=3.8

conda activate pytorch 激活这个环境
pip list 查看这个环境中的工具包

接下来安装pytorch，网址：https://pytorch.org/

conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

检验安装是否成功

使用torch.cuda.is_available()来验证计算机的GPU是否可以被pytorch使用

使用PyCharm配置环境

• 创建一个pytorch项目

在Python Console中进行一下输入

跟在命令行里一样，判断GPU是否可以被pytorch使用

安装配置jupyter

打开Anaconda命令行，执行

conda activate pytorch
conda install nb_conda (安装一个包
jupyter notebook (启动jupyter

2.两个Python常用函数

dir()：打开，看见（让我们知道工具箱以及工具箱中的分隔区有什么东西）

help()：说明书

例如：dir(torch)可以查看torch下面的一些工具

对于help()函数，可以让我们知道每个工具是如何使用的，工具的使用方法。（查看的是官方使用文档

3.DataSet

• DataSet

DataSet：提供一种方式去获取数据及其label

1. 如何获取每一个数据及其label
2. 告诉我们总共有多少个数据

同时对于数据集的组织形式，有两种方式：

1. 文件夹的名字，就是数据的label
2. 文件名和label，分别处在两个文件夹中，label可以用txt的格式进行存储

比如：以下图片的label就是ants

from torch.utils.data import Dataset
from PIL import Image
import os

'''
定义一个class类，继承 Dataset （from torch.utils.data import Dataset）
在类中，定义三个函数:
分别是：初始化 init、获得每一个数据 getitem、数据长度 len。
其中：
1.init：图片所在根路径，标签名，合并路径，将文件夹中的所有图片名字做成一个列表
2.getitem：从列表中逐一取出图片名字，命名为name，再次合并路径，并且把文件名连接在路径之后
用PIL中的Image.open函数，读取（加载）上述路径的文件（命名为img）（这里肯定是图像了），返回 图像img和标签 label（这是getitem的工作）
3.最后用len（）返回列表的长度。
'''

class MyData(Dataset):

    def __init__(self,root_dir,label_dir):
        self.root_dir = root_dir
        self.label_dir = label_dir
        self.path = os.path.join(self.root_dir,self.label_dir)
        self.img_path = os.listdir(self.path)

    def __getitem__(self, idx):
        img_name = self.img_path[idx] #获取每一张图片的名字
        img_item_path = os.path.join(self.path,img_name) #获取某一张图片的相对路径
        img=Image.open(img_item_path)
        label=self.label_dir
        return  img,label

    def __len__(self):
        return len(self.img_path)

'''
定义好MyData类之后，进行实例化这个类，定义参数（一个路径，加一个标签名）
引用之前定义的类，把上述参数，传递进去
'''

#蚂蚁的数据集
root_dir = "dataset/train"
ants_label_dir = "ants"

ants_dataset = MyData(root_dir,ants_label_dir)


#蜜蜂的数据集
bees_label_dir = "bees"
bees_dataset = MyData(root_dir,bees_label_dir)

#将两个数据集进行拼接
train_dataset = ants_dataset + bees_dataset

4.TensorBoard的使用

绘制一幅坐标图

安装TensorBoard的package

pip install tensorboard

from torch.utils.tensorboard import SummaryWriter

writer = SummaryWriter("logs")
# y=x

for i in range(100):
    writer.add_scalar("y=x" ,i, i)

writer.close()

执行完上述代码会在项目中生成一个logs为名字的事件文件。
接下来执行该事件文件在终端中执行：

tensorboard --logdir=logs --port-6007
注意：logdir=事件文件所在的文件夹名（注意路径问题）,可通过port来进行设置端口号

使用tendorboard对一幅图片进行操作

注意SummaryWriter的函数add_image 传入参数及其格式问题

使用numpy.array()，对PIL图片进行转换

from torch.utils.tensorboard import SummaryWriter
from PIL import Image
import numpy as np

'''
定义一个变量=一张图片的相对路径
用PIL中的Image.open函数，读取（加载）上述路径的文件（命名为img_PIL,格式为PIL.JpegImagePlugin.JpegImageFile）
使用numpy.array()将PIL格式转换为array格式
查看writer.add_image()官方文档 查看例子使用
注意：从PIL到numpy，需要在add_image()中指定shape中每一个数字/维表示的含义(dataformats='HWC',图片的高度，宽度，维度)
'''

writer = SummaryWriter("log_1")

img_path = "data/train/ants_image/0013035.jpg"
img_PIL = Image.open(img_path)
img_array = np.array(img_PIL)
print(type(img_array))
print(img_array.shape)

writer.add_image("test", img_array, 1, dataformats='HWC')
writer.close()

改变title，step，这样可以在训练的时，很方便的看到给modle哪些数据，可以看到每个阶段的输出结果，还可以观察不同step的显示结果

5.torchvison中的transforms

transforms是一个transforms.py文件，里面有很多类和函数，可以查看官方文档查看使用

对于tensor数据类型，是我们在训练model时，使用十分方便的类型，里面包含了许多训练model要用的变量

• ToTensor的使用

以transforms.ToTensor为例，以为为python中transforms使用，transforms.ToTensor()是一个类，返回一个对象，通过类中的函数实现具体功能

from torchvision import transforms
from torch.utils.tensorboard import SummaryWriter
from PIL import Image

img_path = "data/train/bees_image/90179376_abc234e5f4.jpg"
img_PIL = Image.open(img_path)

#transforms该如何使用（python）
img_tentor = transforms.ToTensor()
img = img_tentor(img_PIL)

writer = SummaryWriter("log_2")
writer.add_image("tentor_demo",img)
writer.close()

• Normalize的使用

Normalize a tensor image with mean and standard deviation.

# Normalize
trans_norm = transforms.Normalize([1, 0.5, 2], [2, 0.1, 0.2])
img_norm = trans_norm(img)
# print(img_norm)

writer.add_image("norm_demo", img_norm, 2)

• Resize的使用

# Resize
print(img_PIL.size)
trans_resize = transforms.Resize((256, 256))
# img PIL -> resize -> img_resize PIL
img_resize = trans_resize(img_PIL)
# img_resize PIL -> totensor -> img_resize tensor
img_resize = trans_totensor(img_resize)
writer.add_image("resize", img_resize, 0)
print(img_resize)

• Compose使用，对图片组合几种转换一起操作

# Compose-resize
trans_resize2 = transforms.Resize(512)
# PIL -> PIL resize -> tensor resize 其实是一个两步变换，要主要输入的图片的格式
trans_compose=transforms.Compose([trans_resize2,trans_totensor])
img_compose = trans_compose(img_PIL)
writer.add_image("resize", img_compose, 1)

• RandomCrop使用，随机裁剪图片

# RandomCrop
trans_RandomCrop = transforms.RandomCrop(256)
trans_compose_2 = transforms.Compose([trans_RandomCrop, trans_totensor])
for i in range(10):
    img_crop = trans_compose_2(img_PIL)
    writer.add_image("RandomCrop", img_crop, i)

总结

本周进行了PyTorch的相关学习，但是对于TensorBoard部分的实际应用，