深度学习—— 模型参数的访问、初始化和共享（pytorch）

最新推荐文章于 2023-10-07 08:50:58 发布

vinkuan

最新推荐文章于 2023-10-07 08:50:58 发布

阅读量981

点赞数 2

分类专栏： pytorch 文章标签：深度学习 pytorch

本文链接：https://blog.csdn.net/vinkuan/article/details/118397700

版权

本文介绍了如何在PyTorch中访问和初始化深度学习模型的参数，以及如何实现参数的共享。通过类和方法可以方便地操作参数，PyTorch提供预设的初始化策略，并支持自定义初始化。通过在同一函数中多次调用同一层，可以实现模型参数的共享。

摘要由CSDN通过智能技术生成

模型参数的访问

通过Module类的parameters()或者named_parameters()方法来访问所有参数（以迭代器的形式返回），后者除了返回参数Tensor外还会返回其名字。
对于使用Sequential类构造的神经网络，我们可以通过方括号[]来访问网络的任一层。
param的类型为torch.nn.parameter.Parameter，其实这是Tensor的子类，和Tensor不同的是如果一个Tensor是Parameter，那么它会自动被添加到模型的参数列表里

初始化模型参数

PyTorch中nn.Module的模块参数都采取了较为合理的初始化策略，PyTorch的init模块里提供了多种预设的初始化方法。也可以自定义初始化方法

共享模型参数

Module类的forward函数里多次调用同一个层。
如果我们传入Sequential的模块是同一个Module实例的话参数也是共享的

import torch
from torch import nn
from torch.nn import init


class MyModel(nn.Module):
    def __init__(self, **kwargs):
        super(MyModel, self).__init__(**kwargs)