神经网络整体架构
类似于人体的神经元
- 神经网络工作原来为层次结构,一层一层的变换数据。如上述示例有4层,1层输入层、2层隐藏层、1层输出层
- 神经元:数据的量或矩阵的大小,如上述示例中输入层中有三个神经元代表输入数据有3个特征值,输出层有1个神经元表明得到一个结果,若对于分类结果输出层一般有多个神经元
- 全连接:每一个神经元都与上一层中所有的神经元有关,权重参数矩阵
- 非线性:使用非线性函数进行数据映射,如max函数等
神经网络的强大之处即使用更多的参数来拟合复杂的数据
nn.Module的使用
利用PyTorch架构使用神经网络模型时,一般是利用torch.nn函数
自定义神经网络框架 | 官方示例:
import torch.nn as nn
import torch.nn.functional as F
class Model(nn.Module):
def __init__(self):
super().__init__()
self.conv1 = nn.Conv2d(1, 20, 5)
self.conv2 = nn.Conv2d(20, 20, 5)
def forward(self, x):
x = F.relu(self.conv1(x))
return F.relu(self.conv2(x))
对于forward函数相对于是用来说明神经网络中的处理过程,如进行卷积运算的次数与类型等,也可以进行简单的数据处理,如下:
import torch
from torch import nn
'''自定义神经网络'''
class NN_Test1(nn.Module):
def __init__(self):
super().__init__()
def forward(self,input):
output=input+1
return output
nn_test1=NN_Test1()#实例化类 获得一个对象
x=torch.tensor(1.0)
output=nn_test1(x)
print(output)
卷积层(convolution)
-
stride参数用于设置卷积核在图像中的运行步数,如果为单个整数则说明横向纵向都是一样的,也可以设置为元组,(H,W)(横向、纵向)默认为1
-
padding:进行填充
使用示例:
import torch
import torch.nn.functional as F
input=torch.tensor([[1,2,0,3,1],
[0,1,2,3,1],
[1,2,1,0,0],
[5,2,3,1,1],
[2,1,0,1,1]])##输入自定义的二维矩阵
kernel=torch.tensor([[1,2,1],
[0,1,0],
[2,1,0]])#卷积核
input=torch.reshape(input,(1,1,5,5))
##由于输入的格式为(batchsize,通道数,行数,列数)
kernel=torch.reshape(kernel,(1,1,3,3))
output=F.conv2d(input,kernel,stride=1)
print(output)
output2=F.conv2d(input,kernel,stride=2)
print(output2)
输出效果:
-
dilation:设置卷积核的间隔,一般设置为1,在空洞卷积处会进行设置
-
bias:是否加以常数偏置 一般设置为true
-
kernel-size:在卷积过程中会不断的进行调整以寻找最佳
-
当out-channels与input-channels不同时,会将卷积核复制(可能有所变化)在进行运行将此次结果做出输出的一个通道
当论文中未给padding和stride参数的时候则需要根据以下的公式进行计算得到参数的值
示意图如下:
最大池化层(Pooling layers)
对应于pytorch中的torch.nn的Maxpooling2d 下采样
stride参数的默认值与卷积层的默认值不同,stride值在池化层中与卷积核的大小一致,即卷积核移动的大小与卷积核的大小一致;
dilation:空洞卷积,dilation设置空洞的大小,一般情况下不进行设置;
ceil_mode:为True时使用ceil模式,反之使用floor模式。这两种模式的示意图如下,即为ceil模式时进行向上取值,为floor时向下取值;
对于卷积核移动时会出现边界处卷积核内有不存在的值,当ceil_model为True时则该处得到的值保存,否则不保存。
为什么要进行最大池化??/最大池化的目的?
保留输入的特征同时将数据量减少
非线性激活
以ReLU为例
当inplace为true时input的值将直接进行替换;为false时则原值不改