pytorch torch.nn.ReLU和torch.nn.functional.relu的区别

live_for_myself

已于 2022-06-27 12:04:03 修改

阅读量3.4k

点赞数 8

分类专栏： pytorch学习文章标签：深度学习 pytorch

于 2021-03-07 21:21:27 首次发布

本文链接：https://blog.csdn.net/landing_guy_/article/details/114498511

版权

pytorch学习专栏收录该内容

25 篇文章

订阅专栏

本文介绍了在PyTorch中如何使用ReLU激活函数，分别通过torch.nn.ReLU()模块类和torch.nn.functional.relu()函数进行了示例。两者的区别在于，ReLU模块需要在nn.Module的上下文中使用，而functional模块提供的relu函数则更为灵活，可以直接调用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

用一段小程序来说明

先看`torch.nn.ReLU()`

import torch
input = torch.Tensor([[1.0, 2.0],
                    [-1.0, 3.0]])
class demo(torch.nn.Module):
    def __init__(self):
        super(demo, self).__init__()
        self.relu = torch.nn.ReLU()
    def forward(self, x):
        return self.relu(x)
model = demo()
print(model(input))

>>
tensor([[1., 2.],
        [0., 3.]])

torch.nn.ReLU必须在继承torch.nn.Module的情况下使用

再看`torch.nn.functional.relu()`

import torch
input = torch.Tensor([[1.0, 2.0],
                    [-1.0, 3.0]])
print(torch.nn.functional.relu(input))

>>
tensor([[1., 2.],
        [0., 3.]])