Affine层之nn.Linear()的使用

1、Affine层也叫线性层，在神经网络全连接用的比较多，即Y = WX+b, 其中W为权重向量，b为偏置
在pytorch中Affine层为采用nn.Linear()类实现
2、通过帮助文档，可知nn.Linear()只需要接收输入层的维度和输出层的维度即可，权重和偏置的初始化工作pytroch已完成
3、由于在卷积网络中前面的网络一般输入参数是4维（BATCH,C,H,W），而nn.Linear()接收1维度数据，因此可用torch.flatten()将高纬度数据进行展平

以下是Affine层的简单示例

# Affine层也叫线性层，在神经网络全连接用的比较多，即Y = WX+b, 其中W为权重向量，b为偏置
# 在pytorch中Affine层为采用nn.Linear()类实现
# 通过帮助文档，可知nn.Linear()只需要接收输入层的维度和输出层的维度即可，权重和偏置的初始化工作pytroch已完成

# 由于在卷积网络中前面的网络一般输入参数是4维，而nn.Linear()接收1维度数据，因此可用torch.flatten()将高纬度数据进行展平
import torch
import torchvision
from torch import nn
from torch.utils.data import DataLoader


class My_nn(nn.Module):
    def __init__(self):
        super(My_nn, self).__init__()
        self.linear1 = nn.Linear(in_features=3072, out_features=10, bias=True)  # 表示输入层为3072个数，输出层为10个数，设置偏置

    def forward(self, input):
        output = self.linear1(input)
        return output


if __name__ == '__main__':
    # 导入数据集
    Data_input = torchvision.datasets.CIFAR10('dataset', train=False, transform=torchvision.transforms.ToTensor(),
                                              download=True)
    Data_loader = DataLoader(Data_input, batch_size=64, drop_last=True)

    my_nn = My_nn()
    for data in Data_loader:
        imgs, targets = data
        print(imgs.shape)  # torch.Size([64, 3, 32, 32])

        # 对数据进行展平处理
        # 方式一：采用torch.reshape()
        out = torch.reshape(imgs, (64, 1, 1, -1))
        print(out.shape)  # torch.Size([64, 1, 1, 3072])

        out = my_nn(out)
        print(out.shape)  # torch.Size([64, 1, 1, 10])

        # 方式二：采用torch.flatten()
        out = torch.flatten(imgs, start_dim=1)  # start_dim=1表示从第2个维度开始展平，并且数据被降维为2维
        print(out.shape)  # torch.Size([64, 3072])
        out = my_nn(out)
        print(out.shape)  # torch.Size([64, 3072])

    # 可见，采用torch.flatten()相比torch.reshape()除了展平外还可以对数据进行降维，让数据结构变得更加简单。

注意，采用torch.flatten()相比torch.reshape()除了展平外还可以对数据进行降维，让数据结构变得更加简单。