PyTorch学习笔记（14）池化 线性 激活函数

池化、线性、激活函数

池化层 Pooling Layer

池化运算：对信号进行“收集”并“总结”，类似水池收集水资源，因而得名池化层
“收集”：多变少
“总结”：选取最大值或平均值

nn.MaxPool2d

功能 对二维信号(图像)进行最大值池化
主要参数
kernel_size 池化核尺寸
stride 步长
padding 填充个数
dilation 池化核间隔大小
ceil_mode 尺寸向上取整
return_indices 记录池化像素索引 最大值像素所在位置

线性层 Linear Layer

激活函数层 Activation Layer

nn.AvgPool2d

对二维信号(图像)进行平均值池化
主要参数
kernel_size 池化核尺寸
stride 步长
padding 填充个数
dilation 池化核间隔大小
ceil_mode 尺寸向上取整
count_include_pad 填充值用于计算
divisor_override 除法因子

nn.MaxUnpool2d

功能 对二维信号(图像)进行最大值池化上采样
kernel_size 池化核尺寸
stride 步长
padding 填充个数

# -*- coding: utf-8 -*-

import os
import torch
import torch.nn as nn
from PIL import Image
from torchvision import transforms
from matplotlib import pyplot as plt
from tools.common_tools import transform_invert, set_seed

set_seed(3)  # 设置随机种子

# ================================= load img ==================================
path_img = os.path.join(os.path.dirname(os.path.abspath(__file__)), "lena.png")
img = Image.open(path_img).convert('RGB')  # 0~255

# convert to tensor
img_transform = transforms.Compose([transforms.ToTensor()])
img_tensor = img_transform(img)
img_tensor.unsqueeze_(dim=0)    # C*H*W to B*C*H*W

# ================================= create convolution layer ==================================

# ================ maxpool
flag = 1
# flag = 0
if flag :
    maxpool_layer = nn.MaxPool2d((2,2),stride = (2,2))
    img_pool = maxpool_layer(img_tensor)


# ================ avgpool
# flag = 1
flag = 0
if flag:
    # 采用2*2的窗口 设置步长 步长的大小 通常是与窗口大小一样的
    avgpool_layer = nn.AvgPool2d((2,2),stride=(2,2))
    img_conv = avgpool_layer(img_tensor)

# ================ max unpool
flag = 1
# flag = 0

if flag:
    img_tensor = torch.randint(high = 5,size=(1,1,4,4),dtype=torch.float)
    maxpool_layer = nn.MaxPool2d((2,2),stride=(2,2),return_indices=True)
    img_pool, indices = maxpool_layer(img_tensor)

# unpooling
img_reconstruct = torch.randn_like(img_pool,dtype=torch.float)
maxunpool_layer = nn.MaxUnpool2d((2,2),stride=(2,2))
img_unpool = maxunpool_layer(img_reconstruct,indices)

# ================ avgpool divisor_override
# flag = 1
flag = 0
if flag:
    img_tensor = torch.ones((1,1,4,4))
    avgpool_layer = nn.AvgPool2d((2,2),stride=(2,2))
    img_pool = avgpool_layer(img_tensor)


# ================ 2d
flag = 1
# flag = 0
if flag:
    conv_layer = nn.Conv2d(3, 1, 3)   # input:(i, o, size) weights:(o, i , h, w)
    nn.init.xavier_normal_(conv_layer.weight.data)

    # calculation
    img_conv = conv_layer(img_tensor)

# ================ transposed
# flag = 1
flag = 0
if flag:
    conv_layer = nn.ConvTranspose2d(3, 1, 3, stride=2)   # input:(i, o, size)
    nn.init.xavier_normal_(conv_layer.weight.data)

    # calculation
    img_conv = conv_layer(img_tensor)


# ================================= visualization ==================================
print("卷积前尺寸:{}\n卷积后尺寸:{}".format(img_tensor.shape, img_conv.shape))
img_conv = transform_invert(img_conv[0, 0:1, ...], img_transform)
img_raw = transform_invert(img_tensor.squeeze(), img_transform)
plt.subplot(122).imshow(img_conv, cmap='gray')
plt.subplot(121).imshow(img_raw)
plt.show()

线性层

线性层又称全连接层，每个神经元与上一层所有神经元相连实现对前一层的线性组合，线性变换

nn.Linear

功能 对一维信号(向量)进行线性组合
主要参数
in_features 输入结点数
out_features 输出结点数
bias 是否需要偏置

# ================ linear
# flag = 1
flag = 0
if flag:
    inputs = torch.tensor([[1.,2,3]])
    linear_layer = nn.Linear(3,4)
    linear_layer.weight.data = torch.tensor([[1.,1.,1.,],
                                             [2.,2.,2.,],
                                             [3.,3.,3.,],
                                             [4.,4.,4.,]])
    linear_layer.bias.data.fill_(1.)
    output = linear_layer(inputs)
    print(inputs,inputs.shape)
在这里插入代码片

激活函数层

激活函数对特征进行非线性变换，赋予多层神经网络具有深度的意义

nn.Sigmoid

计算公式

梯度公式

特性
输出值在(0,1),符合概率
导数范围是[0,0.25],易导致梯度消失
输出为非0均值，破坏数据分布

nn.tanh

计算公式

梯度公式

特性
输出值在(-1,1),数据符合0均值
导数范围是(0,1),易导致梯度消失

nn.ReLU

计算公式

梯度公式

特性
输出值均为正数，负半轴导致死神经元
导数是1，缓解梯度消失，但易引发梯度爆炸

nn.LeakyReLU

negative_slope 负半轴斜率

nn.PReLU

init 可学习率

nn.RReLU

lower 均匀分布下限
upper均匀分布上限