【动手学深度学习-Pytorch版】自定义层-带参数的层

"""带参数的层"""

"""
定义具有参数的层， 这些参数可以通过训练进行调整。 
我们可以使用内置函数来创建参数，这些函数提供一些基本的管理功能。
比如管理访问、初始化、共享、保存和加载模型参数。 
这样做的好处之一是：我们不需要为每个自定义层编写自定义的序列化程序。


层可以有局部参数，这些参数可以通过内置函数创建：
nn.Parameter(torch.randn(raw, column))
"""

import torch
import torch.nn.functional as F
from torch import nn


class MyLinear(nn.Module):
    def __init__(self, in_units, units):
        super().__init__()
        self.weight = nn.Parameter(torch.randn(in_units, units))
        self.bias = nn.Parameter(torch.randn(units, ))

    def forward(self, X):
        # 因为这里有矩阵运算所以需要保证输入的矩阵的列与实例初始化时的行相同 即 5
        linear = torch.matmul(X, self.weight.data) + self.bias.data
        return F.relu(linear)


linear = MyLinear(5, 3)
print(linear.weight)

# 使用自定义层直接执行前向传播计算
forwardValue = linear(torch.rand(4, 5))
print('执行前向传播得到的结果：', forwardValue)

# 使用自定义层构建模型，就像使用内置的全连接层一样使用自定义层。
net = nn.Sequential(MyLinear(64, 8), MyLinear(8, 1))
net(torch.randn(2, 64))  # 保证输入的X的列与第一层的行数相同 64