【深度学习】基于PyTorch架构神经网络学习总结（基础概念&基本网络搭建）

神经网络整体架构

类似于人体的神经元

• 神经网络工作原来为层次结构，一层一层的变换数据。如上述示例有4层，1层输入层、2层隐藏层、1层输出层
• 神经元：数据的量或矩阵的大小，如上述示例中输入层中有三个神经元代表输入数据有3个特征值，输出层有1个神经元表明得到一个结果，若对于分类结果输出层一般有多个神经元
• 全连接：每一个神经元都与上一层中所有的神经元有关，权重参数矩阵
• 非线性：使用非线性函数进行数据映射，如max函数等

神经网络的强大之处即使用更多的参数来拟合复杂的数据

nn.Module的使用

利用PyTorch架构使用神经网络模型时，一般是利用torch.nn函数

自定义神经网络框架 | 官方示例：

import torch.nn as nn
import torch.nn.functional as F

class Model(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(1, 20, 5)
        self.conv2 = nn.Conv2d(20, 20, 5)

    def forward(self, x):
        x = F.relu(self.conv1(x))
        return F.relu(self.conv2(x))

对于forward函数相对于是用来说明神经网络中的处理过程，如进行卷积运算的次数与类型等，也可以进行简单的数据处理，如下：

import torch
from torch import nn
'''自定义神经网络'''
class NN_Test1(nn.Module):
    def __init__(self):
        super().__init__()

    def forward(self,input):
        output=input+1
        return output

nn_test1=NN_Test1()#实例化类 获得一个对象
x=torch.tensor(1.0)
output=nn_test1(x)
print(output)

卷积层（convolution）

• stride参数用于设置卷积核在图像中的运行步数，如果为单个整数则说明横向纵向都是一样的，也可以设置为元组，（H,W）（横向、纵向）默认为1

• padding：进行填充

使用示例：

import  torch
import torch.nn.functional as F
input=torch.tensor([[1,2,0,3,1],
                   [0,1,2,3,1],
                   [1,2,1,0,0],
                   [5,2,3,1,1],
                   [2,1,0,1,1]])##输入自定义的二维矩阵
kernel=torch.tensor([[1,2,1],
                     [0,1,0],
                     [2,1,0]])#卷积核
input=torch.reshape(input,(1,1,5,5))
##由于输入的格式为（batchsize，通道数，行数，列数）
kernel=torch.reshape(kernel,(1,1,3,3))

output=F.conv2d(input,kernel,stride=1)
print(output)
output2=F.conv2d(input,kernel,stride=2)
print(output2)

输出效果：

• dilation:设置卷积核的间隔，一般设置为1，在空洞卷积处会进行设置

• bias:是否加以常数偏置 一般设置为true

• kernel-size:在卷积过程中会不断的进行调整以寻找最佳

• 当out-channels与input-channels不同时，会将卷积核复制（可能有所变化）在进行运行将此次结果做出输出的一个通道

 当论文中未给padding和stride参数的时候则需要根据以下的公式进行计算得到参数的值

 示意图如下：

最大池化层（Pooling layers）

对应于pytorch中的torch.nn的Maxpooling2d         下采样

stride参数的默认值与卷积层的默认值不同，stride值在池化层中与卷积核的大小一致，即卷积核移动的大小与卷积核的大小一致；

dilation：空洞卷积，dilation设置空洞的大小，一般情况下不进行设置；

ceil_mode：为True时使用ceil模式，反之使用floor模式。这两种模式的示意图如下，即为ceil模式时进行向上取值，为floor时向下取值；

对于卷积核移动时会出现边界处卷积核内有不存在的值，当ceil_model为True时则该处得到的值保存，否则不保存。

为什么要进行最大池化？？/最大池化的目的？

保留输入的特征同时将数据量减少

非线性激活

以ReLU为例

 当inplace为true时input的值将直接进行替换；为false时则原值不改，有一个新值获取结果值；</