PyTorch学习笔记：nn.LeakyReLU——LeakyReLU激活函数

视觉萌新、

已于 2023-02-10 17:11:01 修改

阅读量2.3w

点赞数 23

分类专栏： PyTorch学习笔记文章标签： pytorch 学习 python

于 2023-02-10 17:06:37 首次发布

本文链接：https://blog.csdn.net/qq_50001789/article/details/128973901

版权

PyTorch学习笔记专栏收录该内容

45 篇文章

订阅专栏

文章介绍了PyTorch中LeakyReLU激活函数的原理和作用，它通过允许负轴上的一小部分值通过（乘以一个小的斜率α），解决了ReLU可能出现的死亡神经元问题。此外，文章还提供了代码示例进行LeakyReLU与ReLU的对比，并展示了LeakyReLU的图形表示。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

PyTorch学习笔记：nn.LeakyReLU——LeakyReLU激活函数

功能：逐元素对数据应用如下函数公式进行激活
$\text{LeakyReLU}(x)=\max(0,x)+\alpha*\min(0,x)$
或者
$\begin{aligned} \text{LeakyReLU}(x)= \left\{ \begin{matrix} x,\quad &if\quad x≥0 \\ \alpha\times x,\quad &\text{otherwise} \end{matrix} \right. \end{aligned}$
该函数相比于ReLU，保留了一些负轴的值，缓解了激活值过小而导致神经元参数无法更新的问题，其中 $\alpha$ 默认0.01。

函数图像：

在这里插入图片描述

输入：

negative_slope：控制负激活值的斜率，默认1e-2
inplace：是否改变输入数据，如果设置为True，则会直接修改输入数据；如果设置为False，则不对输入数据做修改

注意：

输出数据与输入数据尺寸相同

代码案例

与ReLU做比较

import torch.nn as nn
import torch

LeakyReLU = nn.LeakyReLU(negative_slope=5e-2)
ReLU = nn.ReLU()
x = torch.randn(10)
value = ReLU(x)
value_l = LeakyReLU(x)
print(x)
print(value)
print(value_l)

输出

# 输入
tensor([ 0.1820, -0.4248, -0.9135,  0.1136, -1.0147, -0.5044,  0.1361,  0.0744,
         1.3379, -1.1290])
# ReLU
tensor([0.1820, 0.0000, 0.0000, 0.1136, 0.0000, 0.0000, 0.1361, 0.0744, 1.3379,
        0.0000])
# LeakyReLU
tensor([ 0.1820, -0.0212, -0.0457,  0.1136, -0.0507, -0.0252,  0.1361,  0.0744,
         1.3379, -0.0564])

注：绘图程序

import torch.nn as nn
import torch
import numpy as np
import matplotlib.pyplot as plt

LeakyReLU = nn.LeakyReLU(negative_slope=5e-2)
x = torch.from_numpy(np.linspace(-3,3,100))
value = LeakyReLU(x)
plt.plot(x, value)
plt.savefig('LeakyReLU.jpg')