关于【卷积神经网络】的一些笔记

2022好运连连

已于 2022-10-11 21:12:12 修改

阅读量597

点赞数

于 2022-10-09 22:52:35 首次发布

本文链接：https://blog.csdn.net/weixin_47902668/article/details/126989460

版权

0. 搭建神经网络

pytorch的官网上torch.nn--containers--Module

import torch.nn as nn
import torch.nn.functional as F
#搭建的神经网络都是继承的Module类
class Model(nn.Module):
#调用父类的初始化函数
    def __init__(self):
        super().__init__()
        #自己加进去的
        self.conv1 = nn.Conv2d(1, 20, 5)
        self.conv2 = nn.Conv2d(20, 20, 5)
#前向传播，神经网络中的运算步骤
    def forward(self, x):
    #对输入的x先进行一次卷积，再进行一次非线性处理
        x = F.relu(self.conv1(x))
        #再次;返回
        return F.relu(self.conv2(x))

import torch
from torch import nn
#一个超简单的代码段，以及简单的debug，code-重写方法
class Tudui(nn.Module):

    def __init__(self) -> None:
        super().__init__()
    def forward(self,input):
        output=input+1
        return output
tudui=Tudui()
x=torch.tensor(1.0)
output=tudui(x)
print(output)

------以下开始简要说一下卷积

卷积的计算中，关于stride和padding

torch.nn.functional.conv2d(input, weight, bias=None, 
stride=1, padding=0, dilation=1, groups=1)
#卷积的计算中，关于stride和padding
import torch
import torch.nn.functional as F
input=torch.tensor([[1,2,0,3,1],
                    [0,1,2,3,1],
                    [1,2,1,0,0],
                    [5,2,3,1,1],
                    [2,1,0,1,1]])
kernel=torch.tensor([[1,2,3],
                     [0,1,0],
                     [2,1,0]])
input=torch.reshape(input,(1,1,5,5))#1个数据，1个通道，高度宽度5*5
kernel=torch.reshape(kernel,(1,1,3,3))
print(input.shape)
print(kernel.shape)
output=F.conv2d(input,kernel,stride=1)
print(output)
#将stride设置为2
output2=F.conv2d(input,kernel,stride=2)
print(output2)
#加上padding填充
output3=F.conv2d(input,kernel,stride=1,padding=1)
print(output3)

-----开始-----

1. 神经网络–卷积层

卷积计算动画

搭建一个包含一个卷积层的卷积神经网络

import torch
import torchvision
from torch import nn
from torch.nn import Conv2d
from torch.utils.data import DataLoader
#第一次运行会下载数据集
dataset=torchvision.datasets.CIFAR10("../data",train=False,
                                transform=torchvision.transforms.ToTensor(),download=True)
dataloder=DataLoader(dataset,batch_size=64)#加载
#搭建卷积神经网络
class Tudui(nn.Module):

    def __init__(self) :
        super(Tudui,self).__init__()
        #定义一个卷积层。self.conv1(第一个卷积层）rgb图像，kenel_size=3
        self.conv1=Conv2d(in_channels=3,out_channels=6,kernel_size=3,stride=1,padding=0)
    def forward(self,x):
        x=self.conv1(x)
        return x
tudui=Tudui()
print(tudui)

如同，第一次运行会下载数据集，放在目录的data文件夹中，打印出网络结构

将数据集加载进去，输入到卷积神经网络中

import torch
import torchvision
from torch import nn
from torch.nn import Conv2d
from torch.utils.data import DataLoader, dataloader

from torch.utils.tensorboard import SummaryWriter

#第一次运行会下载数据集
dataset=torchvision.datasets.CIFAR10("../data",train=False,
                                transform=torchvision.transforms.ToTensor(),download=True)
dataloder=DataLoader(dataset,batch_size=64)#加载
#搭建卷积神经网络
class Tudui(nn.Module):
   def __init__(self) :
        super(Tudui,self).__init__()
        #定义一个卷积层。self.conv1(第一个卷积层）rgb图像，kenel_size=3
        self.conv1=Conv2d(in_channels=3,out_channels=6,kernel_size=3,stride=1,padding=0)
   def forward(self,x):
        x=self.conv1(x)
        return x
tudui=Tudui()
#把每张图像放在这个卷积神经网络中
writer=SummaryWriter("../logs")
step=0
#想看一下dataloader中的每一个数据
for data in dataloader:
    imgs,targets=data
    output=tudui(imgs)
    print(imgs.shape)
    print(output.shape)
    #torch.Size([64,3,32,32])
    writer.add_images("input",imgs,step)

    #torch.Size([64,6,30,30])->[***,3,30,30]

    output=torch.reshape(output,(-1,3,30,30))
    writer.add_images("output",imgs,step)
    step=step+1

我找不到解决方法，
我不我的data为什么不能迭代，dataloder完之后，data也不是module类呀
【存在的问题及解决】
运行时出现没有tensorboard的错误，其实代码里也没有标红，第一次在base环境运行的，我在cmd命令行中下载了通过pip install tb-nightly命令下载。后来我觉得在pytorch1的虚拟环境中再次运行，需要进入pytorch1这个虚拟环境再安装。
但是一直有module不能迭代这个错误！！！

几个公式，如果论文中没有给出一些参数的设置，可能要自己推导

pytorch官网conv2d中的shape板块
在这里插入图片描述空洞卷积dilation参数

2. 池化层

torch.nn.MaxPool2d(kernel_size, stride=None, padding=0, dilation=1, return_indices=False, ceil_mode=False)

池化操作：

2.1 为什么要进行最大池化？作用

保留输入的特征，同时可以把数据量减小，eg：本来输入55，最大池化后，变成33的，网络训练的更快。
增加感受野，让后面的卷积核看到更全局的内容。
夹在连续的卷积之间，用于压缩数据和参数的量（压缩图像），可以减小过拟合。
1.特征不变性
2.特征降维
3.在一定程度上防止过拟合
经过池化后的图像

2.2 池化层的计算用代码实现

MAxPool2d的参数
dilation可以理解为空洞卷积

#实现最大池化操作
import torch
#输入数据（2维的5*5矩阵）
import torchvision.datasets
from torch import nn
from torch.nn import MaxPool2d
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

dataset =torchvision.datasets.CIFAR10("../data",train=False,download=True,
                                      transform=torchvision.transforms.ToTensor())
dataloader=DataLoader(dataset,batch_size=64)

class Tudui(nn.Module):
    def __init__(self):
        super(Tudui, self).__init__()
        self.maxpool1=MaxPool2d(kernel_size=3,ceil_mode=True)
    def forward(self,input):
        output=self.maxpool1(input)
        return output
#开始搭建神经网络
tudui=Tudui()
writer=SummaryWriter("../logs_maxpool")
step=0
for data in dataloader:
     imgs,targets=data
     writer.add_images("input",imgs,step)
     output=tudui(imgs)
     writer.add_images("output",output,step)
     step=step+1
writer.close()