深入理解 PyTorch 激活函数：从基础到高效实用技巧（2）

于 2024-01-16 09:50:43 发布
阅读量953 收藏 24
点赞数 27
分类专栏： pytorch python 深度学习 文章标签： pytorch 人工智能 python 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42452134/article/details/135616076
版权
深度学习 同时被 3 个专栏收录
76 篇文章 28 订阅
订阅专栏
python
52 篇文章 0 订阅
订阅专栏
pytorch
50 篇文章 0 订阅
订阅专栏

目录

torch.nn.functional激活层详解

selu

1. 函数用途

2. 参数详解

3. SELU函数的定义及数学解释

4. 使用示例

celu

1. 函数用途

2. 参数详解

3. CELU函数的定义及数学解释

4. 使用示例

leaky_relu

1. 函数用途

2. 参数详解

3. LeakyReLU函数的定义及数学解释

4. 使用示例

leaky_relu_

1. 函数用途

2. 参数详解

3. LeakyReLU函数的定义及数学解释

4. 使用示例

prelu

1. 函数用途

2. 参数详解

注意事项

3. PReLU函数的定义及数学解释

4. 使用示例

rrelu

1. 函数用途

2. 参数详解

3. RReLU函数的定义及数学解释

4. 使用示例

rrelu_

1. 函数用途

2. 参数详解

3. RReLU函数的定义及数学解释

4. 使用示例

glu

1. 函数用途

2. 参数详解

3. GLU函数的定义及数学解释

4. 使用示例

gelu

1. 函数用途

2. 参数详解

3. GELU函数的定义及数学解释

4. 使用示例

总结

torch.nn.functional激活层详解

selu

torch.nn.functional.selu 是 PyTorch 中的一个函数，用于逐元素应用缩放指数线性单元（Scaled Exponential Linear Unit, 简称SELU）激活函数。

1. 函数用途

SELU 激活函数是一种自归一化激活函数，它在一定程度上解决了深度神经网络中的梯度消失和梯度爆炸问题。SELU 的设计使得在使用此激活函数的神经网络中，层与层之间的输出自动地趋于零均值和单位方差，这有助于提高网络的训练稳定性。

2. 参数详解

  • input（Tensor）：输入的张量。
  • inplace（bool，默认为False）：是否进行原地操作。如果为True，则直接在输入张量上修改，而不是创建一个新的张量。

3. SELU函数的定义及数学解释

SELU 激活函数的数学表达式是：

  • SELU(x) = scale * (max(0, x) + min(0, α * (exp(x) - 1)))

其中：

  • α（alpha）是一个预定的常数，约为 1.6732632423543772848170429916717。
  • scale 是另一个预定的常数，约为 1.0507009873554804934193349852946。
  • exp(x) 表示 x 的指数函数 e^x（e 是自然对数的底数）。

函数中的 max(0, x) 和 min(0, α * (exp(x) - 1)) 组合保证了当 x 为负时有一个平滑的负饱和状态，而 x 为正时的行为类似于线性函数。

4. 使用示例

import torch
import torch.nn.functional as F

# 创建一个示例张量
input_tensor = torch.tensor([-2.0, 0.0, 2.0])

# 应用SELU激活函数
output_tensor = F.selu(input_tensor)

# 输出结果
print("原始张量:", input_tensor)
print("SELU处理后的张量:", output_tensor)
# 输出将是：
# 原始张量: tensor([-2.0000,  0.0000,  2.0000])
# SELU处理后的张量: tensor([-1.5202,  0.0000, 2.1014])

在这个示例中，SELU 函数根据其定义对每个元素进行了转换。正值得以保持，而负值经过特定的缩放和变换。

SELU 函数由于其自归一化特性，特别适用于构建深层网络，能够有效地维护各层输出的均值和方差，从而有助于改进网络的训练过程和稳定性。

celu

torch.nn.functional.celu 是 PyTorch 框架中的一个函数，用于逐元素应用连续指数线性单元（Continuously Differentiable Exponential Linear Unit, 简称CELU）激活函数。

1. 函数用途

CELU 激活函数是 ELU（Exponential Linear Unit）激活函数的一种变体，提供了更平滑的负值部分的转换。与 ELU 类似，CELU 也可以帮助减少神经网络训练中的梯度消失问题，同时它的连续可微性在某些应用中可能更为有利。

2. 参数详解

  • input（Tensor）：输入的张量。
  • alpha（float，默认为1.0）：CELU 激活函数的α值。这个参数影响负输入值的饱和级别。
  • inplace（bool，默认为False）：是否进行原地操作。如果为True，则直接在输入张量上修改，而不是创建一个新的张量。

3. CELU函数的定义及数学解释

CELU 激活函数的数学表达式是：

  • CELU(x) = max(0, x) + min(0, α * (exp(x / α) - 1))

这里的 exp(x / α) 表示 x / α 的指数函数 e^(x/α)。对于正值输入，CELU 函数的行为类似于线性函数。对于负值输入，CELU 提供一个平滑的过渡，其输出随着输入值的减小而逐渐饱和。

4. 使用示例

import torch
import torch.nn.functional as F

# 创建一个示例张量
input_tensor = torch.tensor([-2.0, 0.0, 2.0])

# 应用CELU激活函数
output_tensor = F.celu(input_tensor, alpha=1.0)

# 输出结果
print("原始张量:", input_tensor)
print("CELU处理后的张量:", output_tensor)
# 输出将是：
# 原始张量: tensor([-2.0000,  0.0000,  2.0000])
# CELU处理后的张量: tensor([-0.8647,  0.0000,  2.0000])

 在这个示例中，正值保持不变，而负值按照 CELU 函数的定义进行了平滑转换。

leaky_relu

torch.nn.functional.leaky_relu 是 PyTorch 框架中的一个函数，用于逐元素应用泄漏修正线性单元（Leaky Rectified Linear Unit, 简称LeakyReLU）激活函数。

1. 函数用途

LeakyReLU 激活函数是传统 ReLU 函数的一个变体，设计用来解决 ReLU 激活函数在负输入值时的“死神经元”问题。相较于 ReLU，LeakyReLU 允许一小部分负值激活，从而提供了更丰富的网络表达能力和更好的梯度流动。

2. 参数详解

  • input（Tensor）：输入的张量。
  • negative_slope（float，默认为0.01）：控制负斜率的系数。这个值决定了当输入为负数时，输出的斜率。
  • inplace（bool，默认为False）：是否进行原地操作。如果为True，则直接在输入张量上修改，而不是创建一个新的张量。

3. LeakyReLU函数的定义及数学解释

LeakyReLU 激活函数的数学表达式是：

  • LeakyReLU(x) = max(0, x) + negative_slope * min(0, x)

这个函数保证了当 x 为正时，输出为 x 本身；而当 x 为负时，输出为 x 乘以一个很小的负斜率（negative_slope），从而允许负值的激活。

4. 使用示例

import torch
import torch.nn.functional as F

# 创建一个示例张量
input_tensor = torch.tensor([-2.0, 0.0, 2.0])

# 应用LeakyReLU激活函数
output_tensor = F.leaky_relu(input_tensor, negative_slope=0.01)

# 输出结果
print("原始张量:", input_tensor)
print("LeakyReLU处理后的张量:", output_tensor)
# 输出将是：
# 原始张量: tensor([-2.0000,  0.0000,  2.0000])
# LeakyReLU处理后的张量: tensor([-0.0200,  0.0000,  2.0000])

在这个示例中，正值保持不变，而负值被缩放了一个很小的负斜率（在这里是0.01）LeakyReLU 由于其在处理负值输入时的优势，特别适合用于那些需要更好处理负值激活的深度学习应用。

leaky_relu_

torch.nn.functional.leaky_relu_ 是 PyTorch 框架中 torch.nn.functional.leaky_relu 函数的原地（in-place）版本。这个函数用于逐元素应用泄漏修正线性单元（Leaky Rectified Linear Unit, 简称LeakyReLU）激活函数，但它直接在输入张量上进行修改，而不是返回一个新的修改过的张量。

1. 函数用途

LeakyReLU 激活函数是为了解决 ReLU 函数在处理负输入值时的“死神经元”问题而设计的。与普通的 ReLU 相比，LeakyReLU 允许负值的一定程度的激活，从而提供更丰富的网络表达能力和改善梯度流。

2. 参数详解

  • input（Tensor）：要进行处理的输入张量。
  • negative_slope（float，默认为0.01）：控制负斜率的系数，决定负值输入的输出斜率。

由于 leaky_relu_ 是一个原地操作函数，因此它没有 inplace 参数，因为其默认行为就是在原地修改输入的张量。

3. LeakyReLU函数的定义及数学解释

LeakyReLU 激活函数的数学表达式是：

  • LeakyReLU(x) = max(0, x) + negative_slope * min(0, x)

这个表达式确保了正值输出保持不变，而负值输出是其原始值乘以一个很小的系数（即 negative_slope）。

4. 使用示例

import torch
import torch.nn.functional as F

# 创建一个示例张量
input_tensor = torch.tensor([-2.0, 0.0, 2.0])

# 原地应用LeakyReLU激活函数
F.leaky_relu_(input_tensor, negative_slope=0.01)

# 输出结果
print("LeakyReLU处理后的张量:", input_tensor)
# 输出将是：
# LeakyReLU处理后的张量: tensor([-0.0200,  0.0000,  2.0000])

在这个示例中，原地修改了张量，正值保持不变，而负值被缩放了一个很小的负斜率（在这里是0.01）。leaky_relu_ 函数在处理大型数据集或需要节省内存时特别有用。然而，也要小心使用，以避免不必要的数据修改。

prelu

torch.nn.functional.prelu 是 PyTorch 框架中的一个函数，用于逐元素应用参数化修正线性单元（Parametric Rectified Linear Unit, 简称PReLU）激活函数。

1. 函数用途

PReLU 激活函数是 ReLU 函数的一种泛化，它引入了可学习的参数来控制负值的激活。这种设计允许网络在训练过程中自适应地学习负斜率，从而提高模型的灵活性和性能。

2. 参数详解

  • input（Tensor）：输入的张量。
  • weight（Tensor）：可学习的权重参数，用于控制负值的激活斜率。

注意事项

  • weight 参数可以是标量或1-D张量。如果是1-D张量，其大小必须与输入的通道数匹配。对于高维输入，weight 可以在不使用普通广播语义的情况下扩展到与输入相同的形状。

3. PReLU函数的定义及数学解释

PReLU 激活函数的数学表达式是：

  • PReLU(x) = max(0, x) + weight * min(0, x)

这个函数保证了当 x 为正时，输出为 x 本身；而当 x 为负时，输出为 x 乘以可学习的权重 weight。

4. 使用示例

import torch
import torch.nn.functional as F

# 创建一个示例张量
input_tensor = torch.tensor([-2.0, 0.0, 2.0])

# 创建一个可学习的权重
weight = torch.tensor([0.25])

# 应用PReLU激活函数
output_tensor = F.prelu(input_tensor, weight)

# 输出结果
print("PReLU处理后的张量:", output_tensor)

# PReLU处理后的张量: tensor([-0.5000,  0.0000,  2.0000])

在这个示例中，正值保持不变，而负值被乘以可学习的权重 weight（在这里是0.25）进行调整。PReLU 激活函数特别适用于那些需要额外灵活性来处理负值输入的深度学习应用，如需要细微调节负激活斜率的场合。

rrelu

torch.nn.functional.rrelu 是 PyTorch 框架中的一个函数，用于逐元素应用随机泄漏修正线性单元（Randomized Leaky Rectified Linear Unit, 简称RReLU）激活函数。

1. 函数用途

RReLU 激活函数是 LeakyReLU 的一种随机变体。它在训练过程中随机选择负斜率，增加了模型的正则化，有助于防止过拟合。在测试阶段，使用固定的斜率（即lower和upper的平均值）。

2. 参数详解

  • input（Tensor）：输入的张量。
  • lower（float，默认为1/8）：负斜率的下界。
  • upper（float，默认为1/3）：负斜率的上界。
  • training（bool，默认为False）：指示是否在训练模式。在训练模式下，斜率是随机的；在评估模式下，斜率是固定的。
  • inplace（bool，默认为False）：是否进行原地操作。如果为True，则直接在输入张量上修改，而不是创建一个新的张量。

3. RReLU函数的定义及数学解释

RReLU 激活函数的数学表达式是：

  • RReLU(x) = max(0, x) + slope * min(0, x)

其中，slope 在训练阶段是从区间 [lower, upper] 中随机选取的，而在测试阶段则是使用这个区间的平均值。

4. 使用示例

import torch
import torch.nn.functional as F

# 创建一个示例张量
input_tensor = torch.tensor([-2.0, 0.0, 2.0])

# 应用RReLU激活函数
output_tensor = F.rrelu(input_tensor, lower=1./8, upper=1./3, training=True)

# 输出结果
print("原始张量:", input_tensor)
print("RReLU处理后的张量:", output_tensor)

输出结果将展示负值输入的随机激活斜率效果。由于斜率是随机的，每次运行的输出可能会有所不同。RReLU 激活函数由于其随机性，特别适用于需要额外正则化以防止过拟合的深度学习应用。

rrelu_

torch.nn.functional.rrelu_ 是 PyTorch 中 torch.nn.functional.rrelu 函数的原地（in-place）版本。这个函数用于逐元素应用随机泄漏修正线性单元（Randomized Leaky Rectified Linear Unit, 简称RReLU）激活函数，但与标准的 rrelu 函数不同的是，它直接在输入张量上进行修改，而不是返回一个新的修改过的张量。

1. 函数用途

RReLU 激活函数是 LeakyReLU 的随机版本，用于增加模型的正则化，减少过拟合风险。它在训练期间随机选择负斜率，在测试期间使用固定斜率。

2. 参数详解

  • input（Tensor）：要进行处理的输入张量。
  • lower（float，默认为1/8）：负斜率的下界。
  • upper（float，默认为1/3）：负斜率的上界。
  • training（bool，默认为False）：指示是否在训练模式。训练模式下，斜率是随机的；评估模式下，斜率是固定的。

3. RReLU函数的定义及数学解释

RReLU 激活函数的数学表达式是：

  • RReLU(x) = max(0, x) + slope * min(0, x)

其中，slope 在训练模式下从 [lower, upper] 区间内随机选择，在评估模式下则使用区间的平均值。

4. 使用示例

import torch
import torch.nn.functional as F

# 创建一个示例张量
input_tensor = torch.tensor([-2.0, 0.0, 2.0])

# 原地应用RReLU激活函数
F.rrelu_(input_tensor, lower=1./8, upper=1./3, training=True)

# 输出结果
print("RReLU处理后的张量:", input_tensor)

由于 rrelu_ 是原地操作，input_tensor 的值将直接被修改。在训练模式下，输出的负斜率是随机的，每次运行可能得到不同的结果。rrelu_ 函数在处理大型数据集时尤其有用，因为它可以减少内存使用。

glu

torch.nn.functional.glu 是 PyTorch 框架中的一个函数，用于应用门控线性单元（Gated Linear Unit, 简称GLU）。

1. 函数用途

GLU 是一种在深度学习中用于增强网络表示能力的激活函数。它通过将输入张量在指定维度上分成两半，并对其中一半应用 Sigmoid 函数，然后将两部分进行元素级的乘积操作，从而实现门控机制。这种机制有助于网络自动学习重要的特征，并抑制不重要的特征。

2. 参数详解

  • input（Tensor）：输入的张量。
  • dim（int，默认为-1）：沿着哪个维度对输入张量进行切分。默认情况下，它在最后一个维度上进行切分。

3. GLU函数的定义及数学解释

GLU 激活函数的数学表达式是：

  • GLU(a, b) = a ⊗ σ(b)

其中：

  • 输入张量 input 被沿着维度 dim 分为两个张量 a 和 b。
  • σ 表示 Sigmoid 激活函数。
  • ⊗ 表示 a 和 σ(b) 之间的元素级乘积。

4. 使用示例

import torch
import torch.nn.functional as F

# 创建一个示例张量
input_tensor = torch.randn(4, 2)  # 假设维度为 [4, 2]

# 应用GLU激活函数
output_tensor = F.glu(input_tensor, dim=1)

# 输出结果
print("原始张量:", input_tensor)
print("GLU处理后的张量:", output_tensor)

在这个示例中，input_tensor 被分成两个相同大小的部分，然后通过 GLU 函数进行处理。由于 GLU 的特性，输出张量的大小在 dim 指定的维度上会减半。 

gelu

torch.nn.functional.gelu 是 PyTorch 中的一个函数，用于应用高斯误差线性单元（Gaussian Error Linear Unit, 简称GELU）激活函数。

1. 函数用途

GELU 激活函数在深度学习中用于提高模型的表达能力。它通过结合输入的线性变换和高斯分布的累积分布函数（CDF），在一定程度上平衡了线性和非线性特性。GELU 已被证实在多种网络架构中有效，特别是在自然语言处理（NLP）领域。

2. 参数详解

  • input（Tensor）：输入的张量。
  • approximate（字符串，默认为'none'）：指定是否使用近似方法计算 GELU。可选值为'none'和'tanh'。

3. GELU函数的定义及数学解释

GELU 激活函数的数学表达式是：

  • 当 approximate='none' 时：

    • GELU(x) = x * Φ(x)
    • 这里 Φ(x) 是标准正态分布的累积分布函数（CDF）。

  • 当 approximate='tanh' 时：

    • GELU(x) = 0.5 * x * (1 + tanh(√(2/π) * (x + 0.044715 * x^3)))
    • 这是 GELU 函数的一种近似表示，计算更高效。

4. 使用示例

import torch
import torch.nn.functional as F

# 创建一个示例张量
input_tensor = torch.tensor([-2.0, 0.0, 2.0])

# 应用GELU激活函数
output_tensor = F.gelu(input_tensor)

# 输出结果
print("原始张量:", input_tensor)
print("GELU处理后的张量:", output_tensor)

输出结果将展示 GELU 函数如何平滑处理输入张量的每个元素。GELU 函数由于其能够更好地捕捉输入数据的复杂性，特别适用于需要复杂特征表达的深度学习模型。

总结

本篇博客探讨了 PyTorch 中多种高级激活函数，包括 SELU、CELU、LeakyReLU、PReLU、RReLU、GLU 和 GELU。每种激活函数都具有独特的特性和用途，旨在增强深度神经网络的表现能力和学习效率。从 SELU 的自归一化特性到 GELU 的平滑高斯特性，这些激活函数为处理复杂的非线性问题提供了强大的工具。通过详细解释每个函数的工作原理、参数和实际使用示例。应用这些高级激活函数的知识，无论是在自然语言处理还是图像识别等领域，这些激活函数都是构建强大和高效深度学习模型的关键组成部分。

E寻数据
关注
  • 27
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
PyTorch中常用的激活函数的方法示例
09-18
主要介绍了PyTorch中常用的激活函数的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
【PyTorch】教程：torch.nn.SELU
03-14 305
原型参数定义Applied element-wise, as:SELU(x)=scale∗(max⁡⁡(0,x)+min⁡⁡(0,α∗(exp⁡⁡(x)−1))) \text{SELU}(x)=scale∗(\max⁡(0,x)+\min⁡(0, \alpha∗(\exp⁡(x)−1))) SELU(x)=scale∗(max⁡(0,x)+min⁡(0,α∗(exp⁡(x)−1)))图代码 【参考】 SELU — PyTorch 1.13 documentation
2020/12/13-2020/12/20 本周总结（LSA、NNLM、RNN、word2vec、GPT、GELU）
qq_43183860的博客
12-13 723
LSA潜在语义分析： https://blog.csdn.net/roger__wong/article/details/41175967 https://blog.csdn.net/fkyyly/article/details/84665361 https://www.jianshu.com/p/9fe0a7004560 https://www.cnblogs.com/LittleHann/p/7200618.html NNLM（N-gram neural model）: https://www.cnbl
Lnton 羚通云算力平台在 PyTorch 中如何学习 torch.nn.GELU
LNTON羚通科技
09-02 234
公司基于视频分析技术、视频智能传输技术、远程监测技术以及智能语音融合技术等， 拥有多款可支持 ONVIF、RTSP、GB/T28181 等多协议、多路数的音视频智能分析服务器 / 云平台。GELU 激活函数在深度学习中得到广泛应用，并且在某些任务上比传统的激活函数（如 ReLU 和 Sigmoid）具有更好的性能表现。它的平滑性和非线性特点有助于减轻梯度消失问题，并且在某些情况下可以提供更高的模型表达能力。GELU 激活函数是一种近似于 ReLU 并具有平滑性的非线性函数。
Pytorch glue激活函数详解
Decennie的博客
07-31 1355
glue激活函数详解
第三章 PyTorch神经网络工具箱
HHzdh的博客
10-11 830
第三章 PyTorch神经网络工具箱 3.1 神经网络核心组件 神经网络看起来很复杂，节点很多，层数多，参数更多。但核心部分或组件不多，把这些组件确定后，这个神经网络基本就确定了。这些核心组件包括： 层：神经网络的基本结构，将输入张量转换为输出张量。 模型：层构成的网络。 损失函数：参数学习的目标函数，通过最小化损失函数来学习各种参数。 优化器：如何使损失函数最小，这就涉及优化器。 这些核心组件不是独立的，它们之间，以及它们与神经网络其他组件之间有密切关系。 ...
nn.ReLU(inplace=True)中inplace的作用
weixin_34060741的博客
04-02 106
在文档中解释是： 参数： inplace-选择是否进行覆盖运算 意思是是否将得到的值计算得到的值覆盖之前的值，比如： x = x +1 即对原值进行操作，然后将得到的值又直接复制到该值中 而不是覆盖运算的例子如： y = x + 1 x = y 这样就需要花费内存去多存储一个变量y 所以 nn.Conv2d(3, 64, kernel_size...
深度学习中的gelu激活函数详解
热门推荐
sinat_36618660的博客
08-26 2万+
论文：gaussian error linear units (一)、什么是gelus激活函数? gelus（gaussian error linear units）就是我们常说的高斯误差线性单元，它是一种高性能的神经网络激活函数，公式如下：(1)xP(X≤x)=xΦ(x){xP(X \le x)=x\Phi(x)}\tag{1}xP(X≤x)=xΦ(x)(1)计算结果大约为:(2)0.5x(1+...
pytorch--常用激活函数使用方法（21个）
qq_40379132的博客
07-16 7913
2）Sigmoid的输出不是0均值的这会导致后层的神经元的输入是非0均值的信号，这会对梯度产生影响。（1）容易出现梯度消失（gradientvanishing）的现象当激活函数接近饱和区时，变化太缓慢，导数接近0，根据后向传递的数学依据是微积分求导的链式法则，当前导数需要之前各层导数的乘积，几个比较小的数相乘，导数结果很接近0，从而无法完成深层网络的训练。ReLU有很多变种,RReLU是RandomReLU的意思，在RReLU中，负值的斜率在训练中是随机的，在之后的测试中就变成了固定的了。.........
pytorch 中 glu计算
dongfang1984的博客
12-03 1809
1. glu 计算 原理 demo dropout 原理 训练过程中，输入张量的一些元素按从伯努利分布中采样的概率p随机置零。在每个前向调用过程中每个通道都能被独立置零。 Dropout方法证明被证明是正则化和防止神经元的互适应（co-adaptation）效应的有效技术。 形状： 输入: 输入可以是任意形状 输出: 输出和输入同形状 demo ...
mish-cuda:PyTorch 的 Mish 激活函数
05-30
Mish-Cuda：自正则化非单调激活函数 这是 Diganta Misra ( ) Mish 激活的 PyTorch CUDA 实现。 安装 它目前作为仅源代码的 PyTorch 扩展分发。 因此，您需要正确设置工具链和 CUDA 编译器才能安装。 工具链- 在cxx_...
Pytorch中的激活函数
01-20
所以需要激活函数来引入非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中，增加了神经网络模型泛化的特性。 一般只有在输出层有极小的可能性使用线性激活函数，在...
PyTorch 激活函数、损失函数、优化器-谢TS的博客.pdf
07-17
激活函数的出现就是要让神经网络模型可以拟合复杂的非线性函数。激活函数是一个 非常简单的非线性函数，只要把多个神经网络层的输出应用激活函数，神经网络就具有拟合复杂非线性函数的强大能力。
pytorch_memlab:在pytorch中分析和检查内存
05-04
pytorch_memlab 一个简单，准确的pytorch CUDA内存管理实验室，它由有关内存的不同部分组成： 特征： 内存探查器：具有简单API的line_profiler样式CUDA内存探查器。 内存报告器：一个报告器，用于检查占用CUDA...
对比 PyTorch 和 TensorFlow：选择适合你的深度学习框架
CDBmax的博客
12-31 2311
PyTorch 是由 Facebook 的 AI 研究团队开发的一个开源机器学习库，最初发布于 2016 年。它的前身是 Torch，这是一个使用 Lua 语言编写的科学计算框架。PyTorch 的出现标志着 Torch 的核心功能被转移到了 Python 这一更加流行和广泛使用的编程语言中，同时保留了原有的灵活性和强大的功能。PyTorch 很快就因其易用性和强大的灵活性在学术界获得了广泛认可。它特别受到研究人员的青睐，因为它能够轻松地进行快速原型设计和实验。
目标检测实例分割数据集转换：从XML和JSON到YOLOv8(txt)
CDBmax的博客
12-27 2153
在计算机视觉领域，目标检测是一个重要而复杂的任务。随着深度学习技术的发展，各种高效的算法和模型如YOLOv8不断涌现。然而，在使用这些先进模型之前，必须确保我们的数据集是正确格式化的。今天，我将分享一段Python代码，它能够将XML和JSON格式的标注文件转换为适合YOLOv8模型训练的格式。
用pytorch给深度学习加速：正交与谱归一化技术
最新发布
CDBmax的博客
01-09 1905
这篇博客探讨了PyTorch中的两种关键参数优化技术：正交参数化和谱归一化。正交参数化用于优化神经网络的权重矩阵，以保持其正交或酉性质，从而提高网络的训练稳定性和泛化能力。谱归一化则主要用于生成对抗网络（GANs），通过控制权重矩阵的谱范数来稳定判别器的训练。两种技术都是提高模型性能和训练效率的有效工具，适用于多种网络结构和应用场景。博客通过具体的代码示例，展示了如何在PyTorch中实现这些高级参数优化技术。
简单易懂的理解 PyTorch 中 Transformer 组件
CDBmax的博客
01-05 1824
本篇博客深入探讨了 PyTorch 的torch.nn子模块中与 Transformer 相关的核心组件。我们详细介绍了及其构成部分 —— 编码器 () 和解码器 ()，以及它们的基础层 ——和。每个部分的功能、作用、参数配置和实际应用示例都被全面解析。这些组件不仅提供了构建高效、灵活的 NLP 模型的基础，还展示了如何通过自注意力和多头注意力机制来捕捉语言数据中的复杂模式和长期依赖关系。
PyTorch 简单易懂的实现 CosineSimilarity 和 PairwiseDistance - 距离度量的操作
CDBmax的博客
01-07 1755
和。模块专注于计算两个高维数据集之间的余弦相似度，适用于评估文档、用户偏好等在特征空间中的相似性。而模块提供了一种计算两组数据点之间成对欧几里得距离的有效方式，这在聚类、近邻搜索或预测与实际值之间距离度量的场景中非常有用。这两个模块共同构成了在多种机器学习和数据科学应用中处理和比较数据集的基础工具。
pytorch 激活函数
08-26
PyTorch中常用的激活函数有很多种，以下是一些常见的激活函数及其使用方法： 1. Sigmoid函数：torch.sigmoid(x) Sigmoid函数将输入值映射到0到1之间的连续输出，适用于二分类问题。 2. ReLU函数：torch.relu(x) ReLU函数将小于零的输入值置为零，大于零的输入值保持不变，适用于解决非线性问题。 3. LeakyReLU函数：torch.nn.LeakyReLU(negative_slope=0.01) LeakyReLU函数在小于零的区域引入一个小的斜率，可以解决ReLU函数的一些问题，如“神经元死亡”。 4. Tanh函数：torch.tanh(x) Tanh函数将输入值映射到-1到1之间的连续输出，适用于多分类问题。 5. Softmax函数：torch.softmax(x, dim=1) Softmax函数对多分类问题进行归一化操作，将多个输出值映射到（0,1）之间，并且所有输出值的和为1。 6. PReLU函数：torch.nn.PReLU(num_parameters=1) PReLU函数是一种带参数的修正线性单元，在小于零的区域引入一个可学习的小斜率。 这只是一部分常用的激活函数，PyTorch还提供了其他激活函数的实现方式，你可以根据具体的需求选择合适的激活函数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

E寻数据

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值