Python网络训练 torch.nn.Parameter和register_parameter的用法和例子

简介

torch.nn.Parameter() 是 PyTorch 中的一个类，用于指定神经网络模型中的可训练参数。在 PyTorch 中，任何被标记为参数的张量都将被自动添加到模型的参数列表中，并且可以通过梯度下降等算法进行更新。
register_parameter 是 PyTorch 中的一个方法，它允许我们手动注册一个参数 Tensor，并将其添加到模型的参数列表中。与 nn.Parameter 不同的是，register_parameter 不会自动创建 Parameter 对象，而是允许我们手动控制参数的创建方式和属性。

torch.nn.Parameter()

torch.nn.Parameter() 的用法通常是在定义神经网络模型的时候，将需要训练的张量包装成一个 Parameter 对象。下面是一个简单的例子：

import torch
import torch.nn as nn

class MyModel(nn.Module):
    def __init__(self, input_dim, hidden_dim, output_dim):
        super(MyModel, self).__init__()
        
        # 定义需要训练的权重和偏置，并将它们封装成 Parameter 对象
        self.W1 = nn.Parameter(torch.randn(input_dim, hidden_dim))  # 第一层权重，输入维度为 input_dim，输出维度为 hidden_dim
        self.b1 = nn.Parameter(torch.zeros(hidden_dim))             # 第一层偏置，输出维度为 hidden_dim
        
        self.W2 = nn.Parameter(torch.randn(hidden_dim, output_dim))  # 第二层权重，输入维度为 hidden_dim，输出维度为 output_dim
        self.b2 = nn.Parameter(torch.zeros(output_dim))             # 第二层偏置，输出维度为 output_dim
        
    def forward(self, x):
        # 前向传播计算
        z1 = torch.matmul(x, self.W1) + self.b1           # 第一层的线性变换
        a1 = torch.sigmoid(z1)                           # 应用 sigmoid 激活函数
        z2 = torch.matmul(a1, self.W2) + self.b2          # 第二层的线性变换
        y_hat = torch.softmax(z2, dim=-1)                 # 应用 softmax 激活函数
        
        # 返回输出结果
        return y_hat

这段代码定义了一个简单的全连接神经网络模型 MyModel，其中包含两个隐藏层，每个隐藏层有 hidden_dim 个神经元，输入维度为 input_dim，输出维度为 output_dim。在模型的 init 方法中，我们使用 nn.Parameter 将需要训练的权重和偏置包装成 Parameter 对象，并将它们添加到模型的参数列表中。在模型的 forward 方法中，我们使用这些参数来实现神经网络的前向传播计算，并使用 PyTorch 的 Tensor 操作来计算激活函数的输出。
需要注意的是，在 PyTorch 中，大多数 Tensor 操作都支持自动求导，因此我们可以在模型的 forward 方法中直接使用这些操作来构建神经网络的计算图，并通过反向传播算法计算梯度，实现自动求导和梯度下降等算法来更新模型参数。

register_parameter()

在 PyTorch 中，模型的参数是需要优化的张量，它们的值会在训练过程中被不断更新，以最小化损失函数。因此，在使用 PyTorch 构建神经网络时，我们需要使用 Parameter 对象来包装需要优化的张量，并使用 register_parameter 方法将它们注册为模型的参数。

register_parameter 方法的用法如下：

class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        
        # 将一个 Parameter 对象注册为模型的参数
        self.my_param = nn.Parameter(torch.zeros(1, 2, 3))
        self.register_parameter("my_param", self.my_param)

在上面的代码中，我们首先创建了一个 Parameter 对象 my_param，它包装了一个大小为 (1, 2, 3) 的全零张量。然后，我们使用 register_parameter 方法将 my_param 注册为模型的参数，并将其命名为 “my_param”。这样，my_param 就成为了模型的可训练参数之一，它的值会在模型训练过程中被不断更新。

需要注意的是，PyTorch 会自动将一个 nn.Parameter 类型的属性作为模型的参数进行管理，因此在大多数情况下，我们无需手动调用 register_parameter 方法。但是，在一些特殊情况下，比如需要使用非 nn.Parameter 类型的张量作为模型的参数时，我们就需要手动调用 register_parameter 方法将其注册为模型的参数。