ReLU激活函数

torch.relu(x) 是 PyTorch 中的一个函数，用于应用 ReLU（Rectified Linear Unit）激活函数到输入张量 x。ReLU 是一个非常流行的激活函数，尤其在深度学习中。

ReLU 函数的定义如下：

f(x)=max(0,x)

也就是说，对于输入张量 x 中的每一个元素，如果它大于或等于 0，则输出就是该元素本身；如果它小于 0，则输出是 0。

在 PyTorch ：

import torch

# 创建张量
x = torch.randn(1,10)
print("Relu前:",x)
# 应用 ReLU 函数
x = torch.relu(x)
print("Relu后:",x)

Relu前: tensor([[-0.3207, 0.4589, 0.9633, 0.5358, 0.9329, 0.2293,
-1.0878, -0.6909,
0.7041, -0.9642]])
Relu后: tensor([[0.0000, 0.4589, 0.9633, 0.5358, 0.9329, 0.2293, 0.0000, 0.0000, 0.7041,
0.0000]])