小土堆Pytorch笔记P18、19、20、21

编程基础很弱，需要机器学习，学习记录，按自己理解写的，希望以后能学懂吧，要是有大神看到还请赐教。

神经网络-卷积层

iimport torch
import torchvision
from torch import nn
from torch.nn import Conv2d
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

cifar_path = "D:\\Scientific_Research\\Pycharmproject\\Biji\\dataset"
dataset = torchvision.datasets.CIFAR10(root=cifar_path, train=False, transform=torchvision.transforms.ToTensor(),
                                       download=True)
dataloader = DataLoader(dataset=dataset, batch_size=64)


# 搭建神经网络
class Mynn(nn.Module):
    # 初始化
    def __init__(self):
        super(Mynn, self).__init__()
        # 设置卷积参数，输入图像通道数3，输出为6，卷积核为3，步数1，不padding
        self.conv1 = Conv2d(in_channels=3, out_channels=6, kernel_size=3, stride=1, padding=0)

    # 前向传播返回x
    def forward(self, x):
        x = self.conv1(x)
        return x


# 神经网络初始化
mynn = Mynn()
# 查看网络结构
print(mynn)

writer = SummaryWriter("logs")
step = 0
# 将数据集每张图像放入神经网络
for data in dataloader:
    imgs, traget = data
    output = mynn(imgs)
    print(imgs.shape)
    print(output.shape)
    writer.add_images("输入", imgs, step)  # 输入（64，3，32，32）
    # 由于6通道不知道咋输出，将输出reshape一下。
    output = torch.reshape(output, (-1, 3, 30, 30))  # 此处-1为不知道该多少让它自动计算
    writer.add_images("输出", output, step)  # 输出（64，6，30，30）
    step += 1

可以看到3通道变为6通道。

神经网络-最大池化的使用

最大池化有时候也称为下采样。

步长为kernel_size？？？

ceil_mode为True表示数据不足卷积核的时候，仍可以取最大，如图所示。

# 最大池化
import torch
from torch import nn
from torch.nn import MaxPool2d

input = torch.tensor([[1, 2, 0, 3, 1],
                      [0, 1, 2, 3, 1],
                      [1, 2, 1, 0, 0],
                      [5, 2, 3, 1, 1],
                      [2, 1, 0, 1, 1]], dtype=float)  # 注意最大池化需要浮点数
# 改变tensor形状
input = torch.reshape(input, (-1, 1, 5, 5))
print(input.shape)


class Tudui(nn.Module):
    def __init__(self):
        super(Tudui, self).__init__()
        self.maxpool1 = MaxPool2d(kernel_size=3, ceil_mode=True)

    def forward(self, input):
        output = self.maxpool1(input)
        return output


tudui = Tudui()
output = tudui(input)
print(output)

 

当把ceil_mode设为False时，结果为：

为什么要进行最大池化，最大池化作用是什么？

保留输入特征的同时，使数据量减小。对于网络来讲，保留特征数据量减小对网络计算速度有好处。类似于1080P视频最大池化后变为720P，保留内容的同时文件缩小。

那么用图片来试试，直观感受一下，代码如下：

# 最大池化图片
import torch
import torchvision
from torch import nn
from torch.nn import MaxPool2d
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

cifar_path = "D:\\Scientific_Research\\Pycharmproject\\Biji\\dataset"
dataset = torchvision.datasets.CIFAR10(root=cifar_path, train=False, transform=torchvision.transforms.ToTensor(),
                                       download=True)
dataloader = DataLoader(dataset=dataset, batch_size=64)


class Tudui(nn.Module):
    def __init__(self):
        super(Tudui, self).__init__()
        self.maxpool1 = MaxPool2d(kernel_size=3, ceil_mode=False)

    def forward(self, input):
        output = self.maxpool1(input)
        return output


tudui = Tudui()

writer = SummaryWriter("logs")
step = 0
# 在dataloarder中取数据
for data in dataloader:
    imgs, targets = data
    writer.add_images("原始", imgs, step)
    output = tudui(imgs)
    writer.add_images("最大池化", output, step)
    step = step + 1

效果就是这样：

神经网络-非线性激活

为神经网络中引入一些非线性特质。

以RELU代码为例：

# RELU
import torch
from torch import nn
from torch.nn import ReLU

input = torch.tensor([[1, -0.5],
                      [-1, 3]])
input = torch.reshape(input, (-1, 1, 2, 2))
print(input.shape)


class Tudui(nn.Module):
    def __init__(self):
        super(Tudui, self).__init__()
        self.relu1 = ReLU()  # 此处inplace设置是否对原来结果进行替换,常选False(默认)，防止原始数据丢失
    def forward(self,input):
        output=self.relu1(input)
        return output
tudui=Tudui()
output = tudui(input)
print(output)

输出：

将-1，-0.5变为了0

RELU对图像不明显，试一下sigmoid，代码如下：

# sigmoid
import torch
import torchvision
from torch import nn
from torch.nn import MaxPool2d, ReLU, Sigmoid
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

cifar_path = "D:\\Scientific_Research\\Pycharmproject\\Biji\\dataset"
dataset = torchvision.datasets.CIFAR10(root=cifar_path, train=False, transform=torchvision.transforms.ToTensor(),
                                       download=True)
dataloader = DataLoader(dataset=dataset, batch_size=64)


class Tudui(nn.Module):
    def __init__(self):
        super(Tudui, self).__init__()
        self.relu1 = ReLU()  # 此处inplace设置是否对原来结果进行替换,常选False(默认)，防止原始数据丢失
        self.sigmoid1 = Sigmoid()

    def forward(self, input):
        output = self.sigmoid1(input)
        return output


tudui = Tudui()
writer = SummaryWriter("logs")
step = 0
for data in dataloader:
    imgs, targets = data
    writer.add_images("输入", imgs, step)
    output = tudui(imgs)
    writer.add_images("输出", output, step)
    step = step + 1

 经过sigmoid变换的图像：

非线性变化主要目的是为网络引入更多非线性特征。 

神经网络-线性层及其他层介绍

import torch
import torchvision
from torch import nn
from torch.nn import Linear
from torch.utils.data import DataLoader

cifar_path = "D:\\Scientific_Research\\Pycharmproject\\Biji\\dataset"
dataset = torchvision.datasets.CIFAR10(root=cifar_path, train=False, transform=torchvision.transforms.ToTensor(),
                                       download=True)
dataloader = DataLoader(dataset, batch_size=64)


class Tudui(nn.Module):
    def __init__(self):
        super(Tudui, self).__init__()
        self.linear1 = Linear(196608, 10)

    def forward(self, input):
        output = self.linear1(input)
        return output


tudui = Tudui()
for data in dataloader:
    imgs, targets = data
    print(imgs.shape)
    # output = torch.reshape(imgs, (1, 1, 1, -1))
    output = torch.flatten(imgs)  # 展平
    print(output.shape)
    output = tudui(output)
    print(output.shape)

在官方文档中，TORCHVISION.MODELS中提供了一些写好的Module。