nn.Parameter

一、原理阐述

1. 可训练性与自动更新：

   • 在深度学习中，模型的目标是通过不断调整参数来最小化损失函数。nn.Parameter 的主要作用是将一个张量标记为可训练的参数。当一个张量被包装成 nn.Parameter 后，它会被自动注册为模型的一部分，并且在模型的训练过程中，这个参数的值会根据反向传播算法进行更新。优化器（如随机梯度下降、Adam 等）会自动识别 nn.Parameter 对象，并根据损失函数的梯度来调整它们的值，以优化模型的性能。
   • 例如，在神经网络中，权重和偏置通常被定义为 nn.Parameter，因为它们需要在训练过程中不断调整以适应数据。

2. 与普通张量的区别：

   • nn.Parameter 实际上是 torch.Tensor 的子类，所以它具有张量的所有属性和方法。但是，与普通的张量不同，nn.Parameter 对象会被模型的优化器自动识别并进行优化。普通的张量如果不被包装成 nn.Parameter，在模型训练时不会被自动更新。
   • 另外，nn.Parameter 对象通常在模型的定义中明确指定，以便更好地管理和理解模型的可训练部分。

3. 在模型定义中的重要性：

   • 在定义神经网络模型时，使用 nn.Parameter 来定义模型的权重、偏置等可训练参数是一种常见的做法。这样可以方便地管理和更新模型的参数。通过将这些参数明确地定义为 nn.Parameter，可以确保它们在模型的训练过程中被正确地处理。
   • 例如，在定义全连接层时，权重和偏置通常被定义为 nn.Parameter，以便在训练过程中进行自动更新。

二、示例代码

import torch
import torch.nn as nn

class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        # 定义一个可训练的权重参数
        self.weight = nn.Parameter(torch.randn(10, 5))

    def forward(self, x):
        return x @ self.weight

# 创建模型实例
model = MyModel()

# 模拟输入数据
input_data = torch.randn(32, 10)

# 前向传播
output = model(input_data)

# 打印输出形状
print(output.shape)