Pytorch学习-nn.functional和nn.Module

最新推荐文章于 2024-08-28 23:22:47 发布

Zzz_啥都不会

最新推荐文章于 2024-08-28 23:22:47 发布

阅读量771

点赞数

分类专栏： Pytorch 文章标签： python

本文链接：https://blog.csdn.net/Zzz_zhongqing/article/details/107296871

版权

本文介绍了PyTorch中nn.functional和nn.Module的区别与使用。nn.functional提供了神经网络的各种函数实现，如激活函数、模型层和损失函数。nn.Module则用于参数管理和构建模型，能管理子模块并提供了children、named_children等方法来操作子模块。通过nn.Module，可以方便地构建和管理复杂的神经网络结构。

摘要由CSDN通过智能技术生成

一，nn.functional 和 nn.Module

Pytorch和神经网络相关的功能组件大多都封装在 torch.nn模块下。

这些功能组件的绝大部分既有函数形式实现，也有类形式实现。

其中nn.functional(一般引入后改名为F)有各种功能组件的函数实现。例如：

(激活函数)

F.relu F.sigmoid F.tanh F.softmax (模型层)

F.linear F.conv2d F.max_pool2d F.dropout2d F.embedding (损失函数)

F.binary_cross_entropy F.mse_loss F.cross_entropy 为了便于对参数进行管理，一般通过继承 nn.Module 转换成为类的实现形式，并直接封装在 nn 模块下。例如：

(激活函数)

nn.ReLU nn.Sigmoid nn.Tanh nn.Softmax (模型层)

nn.Linear nn.Conv2d nn.MaxPool2d nn.Dropout2d nn.Embedding (损失函数)

nn.BCELoss nn.MSELoss nn.CrossEntropyLoss 实际上nn.Module除了可以管理其引用的各种参数，还可以管理其引用的子模块，功能十分强大。

二，使用nn.Module来管理参数

import torch
from torch import nn
import torch.nn.functional as F
from matplotlib import pyplot as plt
# nn.Parameter 具有requires_grad = True 属性
w  = nn.Parameter(torch.randn(2,2))
print(w)
print(w.requires_grad)

Parameter containing:
tensor([[-1.5365,  0.0448],
        [-0.3267,  0.3325]], requires_grad=True)
True

#nn.parameterList 可以将多个nn.parameter组成一个列表
params_list = nn.ParameterList([nn.Parameter(torch.rand(8,i)) for i in range(1,3)])
print(params_list)
print(params_list[0])
print(params_list[0].requires_grad)

ParameterList(
    (0): Parameter containing: [torch.FloatTensor of size 8x1]
    (1): Parameter containing: [torch.FloatTensor of size 8x2]
)
Parameter containing:
tensor([[0.0708],
        [0.6856],
        [0.5501],
        [0.7626],
        [0.8094],
        [0.6685],
        [0.6888],
        [0.0835]], requires_grad=True)
True

#nn.ParameterDict 可以将nn.Parameter 组成一个字典
params_dict = nn.ParameterDict({
   "a":nn.Parameter(torch.rand(2,2)),"b":nn.Parameter(torch.zeros(2))})
print(params_dict)
print(params_dict["a"])
print(params_dict["a"].requires_grad)

ParameterDict(
    (a): Parameter containing: [torch.FloatTensor of size 2x2]
    (b): Parameter containing: [torch.FloatTensor of size 2]
)
Parameter containing:
tensor([[0.1196, 0.0379],
        [0.1089, 0.5946]], requires_grad=True)
True

#可以用Module将他们管理
#Module.parameter()返回一个生成器，包括其结构下的所有parameters
module = nn.Module()
module.w = w
module.params_list = params_list
module.params_dict = params_dict

num_param = 0
for param in module.parameters():
    print(param,'\n'

最低0.47元/天解锁文章