pytorch学习（一）

TensorBoard的使用

dir和help两大函数使用方法

dir()函数:打开，看见，能让我们知道工具箱以及工具箱的分隔区中有什么东西。
help()函数:说明书，工具的使用方法
例如：
dir(pytorch)
输出：1、2、3、4
dir(pytorch.3)
输出：a,b,c
help(pytorch.3.a)输出a道具的使用方法
输出：将扳手放在特定地方，然后拧动
dir(torch.cuda)
dir(torch.cuda.is_available())
help(torch.cuda.is_available)

Dataset类代码实战

python console

from PIL import Image
img_path="C:\\Users\\Administrator\\PycharmProjects\\pythonProject\\dataset\\train\\ants\\0013035.jpg"
img= Image.open(img_path)
img.size
Out[13]: (768, 512)
img.show()
dir_path="dataset/train/ants"
import os
img_path_list=os.listdir(dir_path)
img_path_list[0]
Out[20]: '0013035.jpg'
root_dir="dataset/train"
label_dir="ants"
path=os.path.join(root_dir,label_dir)
img_path=os.listdir(path)
idx=0
img_name = img_path(idx)

pycharm

from torch.utils.data import Dataset
from PIL import Image
import os
class MyData(Dataset):
    def __init__(self,root_dir,label_dir):
        self.root_dir = root_dir
        self.label_dir = label_dir
        self.path = os.path.join(self.root_dir,self.label_dir)
        self.img_list = os.listdir(self.path)
    #一个函数中的变量不能传递给另外一个函数的，
    # 而self能把self指定的一个变量给后面的函数使用，相当于指定了一个类当中的全局变量
    def __getitem__(self, idx):
        img_name = self.img_list[idx]
        img_item_path = os.path.join(self.root_dir,self.label_dir,img_name)
        img = Image.open(img_item_path)
        label = self.label_dir
        return img,label
    def __len__(self):
        return len(self.img_list)
root_dir = "dataset/train"
ants_label_dir = "ants"
bees_label_dir = "bees"
ants_dataset = MyData(root_dir,ants_label_dir)
bees_dataset = MyData(root_dir,bees_label_dir)
train_dataset = ants_dataset + bees_dataset
print(len(train_dataset))

TensorBoard的使用（一）

1、TensorBoard的安装

2、add_scalar()的使用

（常用来绘制train/val loss)

1. add_scalar()的使用
2. scalar_value对应y轴
3. global_step对应x轴
4. 按ctrl+/可以直接进行注释
5. 按住ctrl键，鼠标移到方法上面，可以点进去看方法怎么使用

怎么打开logs下的事件文件呢？

from torch.utils.tensorboard import SummaryWriter
writer = SummaryWriter("logs")

对应的事件文件存储到logs文件夹下面，如果没有指定文件夹，默认在runs文件夹下
打开事件文件：logdir=事件文件所在的文件夹名

PS C:\Users\Administrator\PycharmProjects\pythonProject> tensorboard --logdir=logs

改端口名

PS C:\Users\Administrator\PycharmProjects\pythonProject> tensorboard --logdir=logs --port=6007

怎么解决这个问题？
官方建议：把所有的logs下的事件删掉，再运行，重新进入端口
（同时改函数和变量，会生成一个新的表）

3、add_image()的使用（常用来观察训练结果）

image_path = "data/train/ants_image/0013035.jpg"
from PIL import Image
img = Image.open(image_path)
print(type(img))
<class 'PIL.JpegImagePlugin.JpegImageFile'>

注：这个类型不满足要求，要求torch.Tensor,或者numpy.array
利用Opencv读取图片，获得numpy型图片数据
在terminal安装opencv pip install opencv-python
利用numpy.array()，对PIL图片进行转换

import numpy as np
img_array = np.array(img)
print(type(img_array))
<class 'numpy.ndarray'>

从PIL到numpy，需要在add_image()中指定shape中的每一个数字/维表示的含义

from torch.utils.tensorboard import SummaryWriter
from PIL import Image
import numpy as np
writer = SummaryWriter("logs")
image_path = "data/train/bees_image/17209602_fe5a5a746f.jpg"
img_PIL = Image.open(image_path)
img_array = np.array(img_PIL)
print(type(img_array))
print(img_array.shape)
writer.add_image("train",img_array,1,dataformats='HWC')

Transforms结构及用法

transforms.py
拿一些特定格式的图片，经过transforms.py工具箱中的工具之后，输出结果

python的用法 -》tensor数据类型

通过 transforms.ToTensor去解决两个问题

1、transforms该如何使用(python)
Convert a PIL Image or numpy.ndarray to tensor
transforms必须使用tensor的数据类型

from PIL import Image
from torchvision import transforms
img_path = "dataset/train/ants/0013035.jpg"
img = Image.open(img_path)
tensor_trans = transforms.ToTensor()
tensor_img = tensor_trans(img)
print(tensor_img)

2、为什么我们需要Tensor数据类型
包装了神经网络所需要的理论基础的一些参数
获得numpy.ndarray格式的图片，用opencv读

import cv2
cv_img = cv2.imread(img_path)

常见Transforms的使用（一）

图片格式	读取方式
PIL	Image.open()
tensor	ToTensor()
narrays	cv.imread()

Python中_call_的用法

class Person:
    def __call__(self, name):
        print("__call__" + "hello " + name)
    # 内置__call__可以不用点调用方法的方式，可以直接使用对象加括号进行调用
    def hello(self,name):
        print("hello" + name)
person = Person()
person("zhangdan")
person.hello("lisi")

__call__hello zhangdan
hellolisi

ToTensor的使用

解决办法： 先在Anaconda promptconda下 激活 pytorch环境

(base) C:\Users\Administrator>conda activate pytorch

Normalize的使用

from PIL import Image
from torch.utils.tensorboard import SummaryWriter
from torchvision import transforms
writer = SummaryWriter("logs")
img = Image.open("images/sky.jpg")
# ToTensor
trans_totensor = transforms.ToTensor()
img_tensor = trans_totensor(img)
writer.add_image("ToTensor",img_tensor)
# Normalize规划
print(img_tensor[0][0][0])
trans_norm = transforms.Normalize([3,2,1],[1,3,5])
img_norm = trans_norm(img_tensor)
print(img_norm[0][0][0])
writer.add_image("Normalize",img_norm,1)
writer.close()

常见Transforms的使用（二）

Resize()的使用

输入是PIL格式，直接输入img（img就是PIL图片），Resize()之后，输出返回值，返回值仍然是一个PIL img，之后如果想在tensorboard上进行显示，就要把返回值再转换成tensor img

• 给定(h,w)，调整为这个尺寸
• 给定int一个数，最小的边去匹配这个数，长边随着小边进行等比缩放

Compose()的使用

把Resize()和ToTensor()结合起来了。

RandomCrop()用法

size:（序列：长宽）或者（单个数：正方形）
输入：PIL img
输出：PIL img

from PIL import Image
from torch.utils.tensorboard import SummaryWriter
from torchvision import transforms
writer = SummaryWriter("logs")
img = Image.open("images/sky.jpg")
# ToTensor
trans_totensor = transforms.ToTensor()
img_tensor = trans_totensor(img)
writer.add_image("ToTensor",img_tensor)
# Normalize规划
print(img_tensor[0][0][0])
trans_norm = transforms.Normalize([3,2,1],[1,3,5])
img_norm = trans_norm(img_tensor)
print(img_norm[0][0][0])
writer.add_image("Normalize",img_norm,1)

# Resize
print(img.size)
trans_resize = transforms.Resize((512))
# img PIL -> resize -> img_resize PIL
img_resize = trans_resize(img)
print(img_resize)
# img_resize PIL -> totensor -> img_resize tensor
img_resize = trans_totensor(img_resize)
writer.add_image("resize",img_resize,0)

# Compose - resize - 2
trans_resize_2 = transforms.Resize(512)
# PIL -> PIL -> tensor (后面的输入的类型和前面输出的类型要相互匹配)
trans_compose = transforms.Compose([trans_resize_2,trans_totensor])
img_resize_2 = trans_compose(img)
writer.add_image("resize",img_resize_2,1)

# RandomCrop随机裁剪，每次裁剪得到的结果都不一样
trans_random = transforms.RandomCrop(512)
trans_compose_2 = transforms.Compose([trans_random,trans_totensor])
for i in range(10):
    img_crop = trans_compose_2(img)
    writer.add_image("RandomCrop",img_crop,i)
writer.close()

总结使用方法

• 关注输入和输出类型
• 多看官方文档
• 关注方法需要什么参数
• 输出咋看(也就是不知道返回值的时候）？1、print(img）2、print(type(img)）3、debug

torchvision中的数据集使用

CIFAR10

• root(string) 数据集的位置
• train(bool) true:训练集 false:测试集
• transform 对数据集中的所有数据进行一个什么样的变化
• target_transform
• download True:自动下载数据集 false:不会下载（推荐为true）

import torchvision
dataset_trans = torchvision.transforms.Compose([
    torchvision.transforms.ToTensor()
])
train_set = torchvision.datasets.CIFAR10(root="./dataset",transform=dataset_trans,train=True,download=True)
test_set = torchvision.datasets.CIFAR10(root="./dataset",transform=dataset_trans,train=False,download=True)
print(test_set[0])
print(test_set.classes)
img,target = test_set[0]
print(img)
print(target)
print(test_set.classes[target])
img.show()
# PIL img可以直接img.show()在pycharm中显示图片

如果使用download参数下载数据集速度慢，可以使用迅雷数据集，将下载好的压缩数据集放在dataset目录下，再把download=True,再运行，就会自动解压。
按住ctrl键，点进去数据集源代码，可以找到下载地址url链接，复制粘贴到迅雷中。

DataLoader的使用

dataset 能告诉我们，数据集在什么地方，第一张数据，第二张数据是什么，这个数据集总共有多少个数据。

• dataset
• batch_size (int）每次抓两张
• shuffle (bool）洗牌的顺序和上一次是否一样true:顺序不一样false:顺序一样
• num_workers (int）设置为0看能否解决一些问题
• drop_last (bool）除不尽的牌是舍去还是不舍去，true:舍去，false:不舍去