第三周、模型相关

一、模型创建步骤

1.1 模型构建两要素

说明：在__init__()中实现子模块的构建，在forward中实现子模块的拼接，所以在pytorch中，前向传播过程就是子模块的拼接过程

二、nn.Module

2.1 torch.nn

torch.nn：Pytroch中的神经网络模块，主要包括以下四个子模块

2.2 nn.Module

• parameters: 存储管理nn.Parameter类
• modules : 存储管理nn.Module类
• buffers: 存储管理缓冲属性, 如BN层中的running_mean
• ***_hooks: 存储管理钩子函数

8个有序字典：

说明： 自定义模型时，init()方法会继承父类nn.Module的__init__()函数。
自定义模型和其他网络层模块都直接或间接的继承nn.Module，所以都会有这8个有序字典，而其子模块，参数或者其他属性会存储在相应的有序字典中

2.3 nn.Module总结

• 一个module可以包含多个子module
• 一个module相当于一个运算,必须实现forward()函数
• 每个module都有8个字典管理它的属性

三、模型容器(Containers)

总结：

• nn.Sequential: 顺序性,各网络层之间严格按顺序执行,常用于block构建
• nn.ModuleList: 迭代性,常用于大量重复网构建,通过for循环实现重复构建
• nn.ModuleDict: 索引性,常用于可选择的网络层

四、卷积

卷积运算: 卷积核在输入信号(图像)上滑动,相应位置上进行乘加
卷积核: 又称为滤波器，过滤器，可认为是某种模式，某种特征
卷积过程类似于用一个模版去图像上寻找与它相似的区域,与卷积核模式越相似，激活值越高，从而实现特征提取
卷积维度: 一般情况下,卷积核在几个维度上滑动,就是几维卷积

4.1 卷积-nn.Conv2d

nn.Conv2d(in_channels,
		  out_channels,
		  kernel_size,
		  stride=1,
		  padding=0,
		  dilation=1,
		  groups=1,
		  bias=True,
		  padding_mode=' zeros')

功能: 对多个二维信号进行二维卷积

in_channels: 输入通道数
out_channels: 输出通道数,等价于卷积核个数
kernel size: 卷积核尺寸
stride: 步长
padding : 填充个数
dilation: 空洞卷积大小
groups: 分组卷积设置
bias: 偏置

计算

示例

# -*- coding:utf-8 -*-

import os
import torch.nn as nn
from PIL import Image
from torchvision import transforms
from matplotlib import pyplot as plt
from tools.common_tools import transform_invert
from tools.common_tools import set_seed

set_seed(2)  # 设置随机种子

# ================================= load img ==================================
path_img = os.path.join(os.path.dirname(os.path.abspath(__file__)), "lena.png")
img = Image.open(path_img).convert('RGB')  # 0~255

# convert to tensor
img_transform = transforms.Compose([transforms.ToTensor()])
img_tensor = img_transform(img)
img_tensor.unsqueeze_(dim=0)    # C*H*W to B*C*H*W

# ================================= create convolution layer ==================================

# ================ 2d
flag = 1
# flag = 0
if flag:
    conv_layer = nn.Conv2d(3, 1, 3)   # input:(i, o, size) weights:(o, i , h, w)
    nn.init.xavier_normal_(conv_layer.weight.data)

    # calculation
    img_conv = conv_layer(img_tensor)

# ================================= visualization ==================================
print("卷积前尺寸:{}\n卷积后尺寸:{}".format(img_tensor.shape, img_conv.shape))
img_conv = transform_invert(img_conv[0, 0:1, ...], img_transform)
img_raw = transform_invert(img_tensor.squeeze(), img_transform)
plt.subplot(122).imshow(img_conv, cmap='gray')
plt.subplot(121).imshow(img_raw)
plt.show()

4.2 转置卷积-nn.ConvTranspose

转置卷积又称为反卷积(Deconvolution)和部分跨越卷积(Fractionally strided Convolution) , 用于对图像进行上采样(UpSample)

五、池化层——Pooling Layer

池化运算: 对信号进行“收集”并“总结” ，类似水池收集水资源,因而 ,得名池化层

• “收集" : 多变少
• “总结" : 最大值/平均值