深入理解 PyTorch 激活函数：从基础到高效实用技巧（1）

已于 2024-01-16 09:27:18 修改
阅读量865 收藏 19
点赞数 22
分类专栏： pytorch python 深度学习 文章标签： 机器学习 深度学习 人工智能 python pytorch
于 2024-01-16 09:26:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42452134/article/details/135615486
版权
深度学习 同时被 3 个专栏收录
76 篇文章 28 订阅
订阅专栏
python
52 篇文章 0 订阅
订阅专栏
pytorch
50 篇文章 0 订阅
订阅专栏

目录

torch.nn.functional激活层详解

threshold

1. 参数详解

2. 注意事项

3. 使用示例

threshold_

1. 参数详解

2. 注意事项

3. 使用示例

relu

1. 函数用途

2. 参数详解

3. 注意事项

4. 使用示例

relu_

1. 函数用途

2. 参数详解

3. 注意事项

4. 使用示例

hardtanh

1. 函数用途

2. 参数详解

3. 注意事项

4. 使用示例

hardtanh_

1. 函数用途

2. 参数详解

3. 注意事项

4. 使用示例

hardswish

1. 函数用途

2. 参数详解

3. 硬件激活函数的定义

4. 使用示例

relu6

1. 函数用途

2. 参数详解

3. ReLU6函数的定义

4. 使用示例

elu

1. 函数用途

2. 参数详解

3. ELU函数的定义

4. 使用示例

elu_

1. 函数用途

2. 参数详解

3. ELU函数的定义及数学解释

4. 使用示例

总结

torch.nn.functional激活层详解

threshold

torch.nn.functional.threshold 函数用于对输入张量（Tensor）进行阈值处理。此函数将输入张量中的每个元素与设定的阈值进行比较，并根据比较结果替换元素值。这在神经网络中用于实现激活函数，如ReLU激活函数，是非常常见的操作。

1. 参数详解

  • input：输入的张量。
  • threshold：阈值，一个浮点数。当输入张量的元素小于或等于这个阈值时，将被替换。
  • value：替换值，一个浮点数。当输入张量的元素小于或等于阈值时，将用这个值替换。
  • inplace：布尔值，默认为False。如果设置为True，将会直接在原始输入张量上进行修改，而不是创建一个新的张量。

2. 注意事项

  • 当inplace=True时，原始输入的张量将被修改，这可能会影响到张量的其他引用。
  • 使用不当可能导致梯度反向传播问题，特别是在训练深度学习模型时。
  • 在实际应用中，通常使用torch.nn.ReLU或者torch.nn.functional.relu作为ReLU激活函数，而不直接使用threshold函数。

3. 使用示例

import torch
import torch.nn.functional as F

# 创建一个示例张量
input_tensor = torch.tensor([-1.0, -0.5, 0.0, 0.5, 1.0])

# 应用threshold函数
# 设置阈值为0，替换值为0
output_tensor = F.threshold(input_tensor, threshold=0.0, value=0.0)

print("原始张量:", input_tensor)
print("处理后的张量:", output_tensor)

## 原始张量: tensor([-1.0000, -0.5000,  0.0000,  0.5000,  1.0000])
## 处理后的张量: tensor([0., 0., 0., 0.5000, 1.0000])

在这个示例中，所有小于或等于0的元素都被替换为0，模拟了ReLU激活函数的效果。

threshold_

torch.nn.functional.threshold_ 函数是 torch.nn.functional.threshold 的原地（in-place）版本。这意味着它会直接修改输入张量，而不是创建一个新的张量作为输出。这个函数用于将输入张量中小于或等于某个阈值的元素替换为指定的值。

1. 参数详解

  • input：输入的张量。需要注意的是，这个张量将会被直接修改。
  • threshold：阈值，一个浮点数。输入张量中小于或等于此阈值的元素将被替换。
  • value：替换值，一个浮点数。输入张量中小于或等于阈值的元素将被替换成这个值。

2. 注意事项

  • 使用threshold_函数会改变原始张量。在某些情况下，如果原始张量还有其他用途或引用，这可能不是一个好选择。
  • 在使用原地操作时，需要特别注意梯度计算和反向传播，因为它们可能会受到原地操作的影响，尤其是在神经网络训练中。

3. 使用示例

import torch
import torch.nn.functional as F

# 创建一个示例张量
input_tensor = torch.tensor([-1.0, -0.5, 0.0, 0.5, 1.0])

# 原地应用threshold_函数
# 设置阈值为0，替换值为0
F.threshold_(input_tensor, threshold=0.0, value=0.0)

print("处理后的张量:", input_tensor)

## 处理后的张量: tensor([0., 0., 0., 0.5000, 1.0000])

在这个示例中，所有小于或等于0的元素都被替换为0，模拟了ReLU激活函数的效果，同时直接修改了原始张量。

relu

torch.nn.functional.relu 是 PyTorch 中实现的一个函数，用于应用逐元素的修正线性单元（Rectified Linear Unit，ReLU）激活函数。ReLU 函数是深度学习中非常常见的激活函数，特别适用于卷积神经网络和全连接层。

1. 函数用途

ReLU 激活函数的主要作用是增加网络的非线性。在不同的神经元上应用ReLU可以帮助网络学习复杂的模式。ReLU 函数的数学表达式是 f(x) = max(0, x)，即如果输入是正数，则输出该数；如果输入是负数，则输出0。

2. 参数详解

  • input（Tensor）：输入的张量。
  • inplace（bool，默认为False）：是否进行原地操作。如果为True，将会直接在输入张量上修改，不创建新的张量。

3. 注意事项

  • 当inplace=True时，原始输入的张量将被修改。这可能会影响到张量的其他引用。
  • ReLU函数在处理负数输入时输出为0，这可能导致神经网络的某些部分在训练过程中“死亡”（即不再更新）。
  • ReLU通常在隐藏层中使用，而不是在网络的输出层。

4. 使用示例

import torch
import torch.nn.functional as F

# 创建一个示例张量
input_tensor = torch.tensor([-1.0, -0.5, 0.0, 0.5, 1.0])

# 应用ReLU激活函数
output_tensor = F.relu(input_tensor)

print("原始张量:", input_tensor)
print("ReLU处理后的张量:", output_tensor)

## 原始张量: tensor([-1.0000, -0.5000,  0.0000,  0.5000,  1.0000])
## ReLU处理后的张量: tensor([0.0000, 0.0000, 0.0000, 0.5000, 1.0000])

在这个示例中，所有小于0的元素都被置为0，而正数元素保持不变。

relu_

torch.nn.functional.relu_ 是 torch.nn.functional.relu 函数的原地（in-place）版本，在 PyTorch 框架中用于应用修正线性单元（Rectified Linear Unit, ReLU）激活函数。与普通的 relu 函数相比，relu_ 函数直接在输入的张量上进行修改，而不返回一个新的修改过的张量。这有助于减少内存使用，特别是在处理大型神经网络时。

1. 函数用途

ReLU 激活函数是深度学习中非常流行的激活函数之一，用于增加神经网络模型的非线性。在数学上，它的定义是 f(x) = max(0, x)，即输入值小于0时输出为0，大于等于0时输出值不变。

2. 参数详解

  • input（Tensor）：输入的张量。

由于这是一个原地操作函数，它没有inplace参数，因为其默认行为就是在原地修改输入的张量。

3. 注意事项

  • 使用原地操作的函数时，需要特别注意，因为它们会修改输入张量。在一些情况下，这可能导致意外的副作用，特别是在计算图的梯度传播时。
  • 原地操作在节省内存方面有优势，但也需要谨慎使用，以避免数据被意外更改。

4. 使用示例

import torch
import torch.nn.functional as F

# 创建一个示例张量
input_tensor = torch.tensor([-1.0, -0.5, 0.0, 0.5, 1.0])

# 原地应用ReLU激活函数
F.relu_(input_tensor)

print("处理后的张量:", input_tensor)

# 处理后的张量: tensor([0.0000, 0.0000, 0.0000, 0.5000, 1.0000])

hardtanh

torch.nn.functional.hardtanh 是 PyTorch 框架中的一个函数，用于应用逐元素的 HardTanh (硬双曲正切) 函数。HardTanh 是传统 Tanh 激活函数的分段线性近似，常用于深度学习中，特别是在需要更快的计算和简化的场景中。

1. 函数用途

HardTanh 激活函数类似于传统的 Tanh 函数，但在处理输入时更为简单和高效。它将输入张量中的每个元素限制在指定的最小值和最大值之间。具体来说，如果元素值小于最小值，则被设置为最小值；如果元素值大于最大值，则被设置为最大值；否则保持不变。

2. 参数详解

  • input（Tensor）：输入的张量。
  • min_val（float，默认为-1.0）：硬限制的最小值。
  • max_val（float，默认为1.0）：硬限制的最大值。
  • inplace（bool，默认为False）：是否进行原地操作。如果为True，则直接在输入张量上修改，而不是创建一个新的张量。

3. 注意事项

  • 使用原地操作 (inplace=True) 时需谨慎，因为它会修改输入张量的值。
  • HardTanh 在一些特定场景中（如简化的神经网络模型）可以作为传统 Tanh 函数的替代品。
  • 由于它是一个分段线性函数，因此在某些应用中可能无法捕获输入数据的复杂性。

4. 使用示例

import torch
import torch.nn.functional as F

# 创建一个示例张量
input_tensor = torch.tensor([-2.0, -1.0, 0.0, 1.0, 2.0])

# 应用HardTanh激活函数
output_tensor = F.hardtanh(input_tensor, min_val=-1.0, max_val=1.0)

print("原始张量:", input_tensor)
print("HardTanh处理后的张量:", output_tensor)

## 原始张量: tensor([-2.0000, -1.0000,  0.0000,  1.0000,  2.0000])
## HardTanh处理后的张量: tensor([-1.0000, -1.0000,  0.0000,  1.0000,  1.0000])

在这个示例中，所有小于-1的元素被设置为-1，所有大于1的元素被设置为1，其余元素保持不变。 

hardtanh_

torch.nn.functional.hardtanh_ 是 PyTorch 中 torch.nn.functional.hardtanh 函数的原地（in-place）版本。这个函数用于将输入张量中的每个元素限制在指定的最小值和最大值之间，但与标准的 hardtanh 不同的是，它直接在输入张量上修改，而不返回一个新的修改过的张量。

1. 函数用途

hardtanh_ 函数应用了分段线性的硬双曲正切激活函数（HardTanh）。这种激活函数在神经网络中用于引入非线性，同时由于其简化的性质，通常计算速度更快，且在某些场景下更有效。

2. 参数详解

  • input（Tensor）：要进行处理的输入张量。
  • min_val（float，默认为-1.0）：硬限制的最小值。
  • max_val（float，默认为1.0）：硬限制的最大值。

由于 hardtanh_ 是一个原地操作函数，因此它没有 inplace 参数，因为其默认行为就是在原地修改输入的张量。

3. 注意事项

  • 使用原地操作函数时，原始输入张量将被直接修改。这在一些场景中可能导致数据损坏或意外的副作用。
  • 由于原地操作可以减少内存占用和提高性能，但同时也需要更加谨慎地处理数据。

4. 使用示例

import torch
import torch.nn.functional as F

# 创建一个示例张量
input_tensor = torch.tensor([-2.0, -1.0, 0.0, 1.0, 2.0])

# 原地应用HardTanh激活函数
F.hardtanh_(input_tensor, min_val=-1.0, max_val=1.0)

print("处理后的张量:", input_tensor)

## 处理后的张量: tensor([-1.0000, -1.0000,  0.0000,  1.0000,  1.0000])

在这个示例中，所有小于-1的元素被设置为-1，所有大于1的元素被设置为1，而中间的元素保持不变。请注意，input_tensor 的原始值已被修改。 

hardswish

torch.nn.functional.hardswish 是 PyTorch 中的一个函数，用于逐元素地应用 HardSwish 激活函数。这个函数是在论文 "Searching for MobileNetV3" 中描述的 Swish 函数的简化版本，它通过对输入张量中的元素进行特定的非线性变换来提高网络的性能和效率。

1. 函数用途

HardSwish 激活函数是一种高效的激活函数，它在保持类似于 Swish 函数性质的同时，减少了计算复杂度。这使得它特别适用于移动和轻量级网络，如 MobileNetV3。

2. 参数详解

  • input（Tensor）：输入的张量。
  • inplace（bool，默认为False）：是否进行原地操作。如果为True，则直接在输入张量上修改，而不是创建一个新的张量。

3. 硬件激活函数的定义

HardSwish 激活函数的数学表达式是：

  • 当 x ≤ -3，HardSwish(x) = 0
  • 当 x ≥ +3，HardSwish(x) = x
  • 否则，HardSwish(x) = x * (x + 3) / 6

4. 使用示例

import torch
import torch.nn.functional as F

# 创建一个示例张量
input_tensor = torch.tensor([-4.0, -3.0, 0.0, 3.0, 4.0])

# 应用HardSwish激活函数
output_tensor = F.hardswish(input_tensor)

# 输出结果
print("原始张量:", input_tensor)
print("HardSwish处理后的张量:", output_tensor)
# 输出将是：
# 原始张量: tensor([-4.0000, -3.0000,  0.0000,  3.0000,  4.0000])
# HardSwish处理后的张量: tensor([0.0000, 0.0000, 0.0000, 3.0000, 4.0000])

在这个示例中，张量中小于等于-3的元素被转换为0，大于等于3的元素保持不变，介于-3和3之间的元素按照 HardSwish 函数的定义进行转换。 

relu6

torch.nn.functional.relu6 是 PyTorch 框架中的一个函数，用于逐元素地应用 ReLU6 激活函数。ReLU6 是传统 ReLU (Rectified Linear Unit) 函数的变体，它在激活后将输出限制在 0 到 6 的范围内。

1. 函数用途

ReLU6 激活函数主要用于深度学习模型中，以增加网络的非线性，同时限制激活函数的输出不超过特定的上限（在这个情况下是 6）。这种限制有助于在一定程度上防止梯度消失和爆炸问题，特别是在训练深层网络时。

2. 参数详解

  • input（Tensor）：输入的张量。
  • inplace（bool，默认为False）：是否进行原地操作。如果为True，则直接在输入张量上修改，而不是创建一个新的张量。

3. ReLU6函数的定义

ReLU6 激活函数的数学表达式是：

  • ReLU6(x) = min(max(0, x), 6)

这意味着，如果输入 x 小于 0，输出为 0；如果输入 x 大于 6，输出为 6；否则输出为 x 本身。

4. 使用示例

import torch
import torch.nn.functional as F

# 创建一个示例张量
input_tensor = torch.tensor([-2.0, 0.0, 2.0, 6.0, 8.0])

# 应用ReLU6激活函数
output_tensor = F.relu6(input_tensor)

# 输出结果
print("原始张量:", input_tensor)
print("ReLU6处理后的张量:", output_tensor)
# 输出将是：
# 原始张量: tensor([-2.0000,  0.0000,  2.0000,  6.0000,  8.0000])
# ReLU6处理后的张量: tensor([0., 0., 2., 6., 6.])

在这个示例中，所有小于0的元素都被转换为0，所有大于6的元素被限制在6，其余元素保持不变。 

elu

torch.nn.functional.elu 是 PyTorch 框架中的一个函数，用于按元素应用指数线性单元（Exponential Linear Unit, 简称ELU）激活函数。

1. 函数用途

ELU 激活函数是一种常用于深度神经网络的非线性激活函数。与 ReLU 激活函数相比，ELU 通过引入负值，可以帮助减少神经元输出的平均值接近零，从而减少所谓的梯度消失问题。这有助于在某些情况下加速模型的学习速度。

2. 参数详解

  • input（Tensor）：输入的张量。
  • alpha（float，默认为1.0）：ELU 激活函数的α值。这个参数定义了当输入小于零时激活函数的饱和值。
  • inplace（bool，默认为False）：是否进行原地操作。如果为True，则直接在输入张量上修改，而不是创建一个新的张量。

3. ELU函数的定义

ELU 激活函数的数学表达式是：

  • 当 x > 0 时，ELU(x) = x
  • 当 x ≤ 0 时，ELU(x) = α * (exp(x) - 1)

这个函数的目的是在保持 ReLU 正值特性的同时，为负输入值提供一个平滑的饱和转换。

4. 使用示例

import torch
import torch.nn.functional as F

# 创建一个示例张量
input_tensor = torch.tensor([-2.0, 0.0, 2.0])

# 应用ELU激活函数
output_tensor = F.elu(input_tensor, alpha=1.0)

# 输出结果
print("原始张量:", input_tensor)
print("ELU处理后的张量:", output_tensor)
# 输出将是：
# 原始张量: tensor([-2.0000,  0.0000,  2.0000])
# ELU处理后的张量: tensor([-0.8647,  0.0000,  2.0000])

在这个示例中，正值保持不变，而负值按照 ELU 函数的定义进行转换。 

elu_

torch.nn.functional.elu_ 是 PyTorch 中 torch.nn.functional.elu 函数的原地（in-place）版本。这个函数用于按元素应用指数线性单元（Exponential Linear Unit, ELU）激活函数，但与标准的 elu 函数不同的是，它直接在输入张量上进行修改，而不是返回一个新的修改过的张量。

1. 函数用途

ELU 激活函数是深度学习中用于增加网络非线性的常用激活函数。它与ReLU相似，但对负输入值提供了平滑的饱和转换，这有助于减少梯度消失问题，并改善模型训练过程中的数值稳定性。

2. 参数详解

  • input（Tensor）：要进行处理的输入张量。
  • alpha（float，默认为1.0）：ELU 激活函数的α值。这个参数定义了当输入小于零时激活函数的饱和值。

由于 elu_ 是一个原地操作函数，因此它没有 inplace 参数，因为其默认行为就是在原地修改输入的张量。

3. ELU函数的定义及数学解释

ELU 激活函数的数学表达式是：

  • 当 x > 0 时，ELU(x) = x
  • 当 x ≤ 0 时，ELU(x) = α * (exp(x) - 1)

这里的 exp(x) 表示 x 的指数函数 e^x（e 是自然对数的底数）。对于负值的输入，ELU函数提供了一个平滑的曲线，当输入值为负且非常小（接近负无穷）时，输出趋向于 -α，为负饱和状态。这避免了

ReLU函数在负值输入时的硬饱和（即输出为零），从而允许负值信息在一定程度上传递，有助于缓解神经网络训练过程中的梯度消失问题。

4. 使用示例

import torch
import torch.nn.functional as F

# 创建一个示例张量
input_tensor = torch.tensor([-2.0, 0.0, 2.0])

# 原地应用ELU激活函数
F.elu_(input_tensor, alpha=1.0)

# 输出结果
print("ELU处理后的张量:", input_tensor)
# 输出将是：
# ELU处理后的张量: tensor([-0.8647,  0.0000,  2.0000])

在这个示例中，正值保持不变，而负值按照 ELU 函数的定义进行转换。需要注意的是，由于 elu_ 是原地操作，input_tensor 的原始值已被修改。

这种原地操作的函数在处理大型数据集时尤其有用，因为它们可以减少内存的使用量。然而，也要小心使用，以避免不必要的数据修改。

总结

本篇博客探讨了 PyTorch 框架中多种重要的激活函数，包括 threshold、threshold_、relu、relu_、hardtanh、hardtanh_、hardswish、relu6、elu 和 elu_。每种激活函数都有其独特的用途和特性，旨在增强深度学习模型的非线性表达能力。我们通过详细解释每个函数的参数、用途和实际使用示例，提供了对这些激活函数深入理解的机会。特别注意到了原地（in-place）版本的函数，如 threshold_、relu_、hardtanh_ 和 elu_，它们在修改输入张量时节省内存，但需要谨慎使用以避免潜在的数据损坏风险。

E寻数据
关注
  • 22
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
PyTorch中常用的激活函数的方法示例
09-18
主要介绍了PyTorch中常用的激活函数的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
torch.max()使用举例
敲代码的小风
12-22 619
参考链接: torch.max()
pytorch教程六(torch.nn.functonal模块)
bestrivern的博客
04-07 4261
一.Convolution 函数 torch.nn.functional.conv1d(input, weight, bias=None, stride=1, padding=0, dilation=1, groups=1) torch.nn.functional.conv2d(input, weight, bias=None, stride=1, padding=0, dilation=1...
torch.nn.init.kaiming_normal_
热门推荐
weixin_36670529的博客
08-17 1万+
torch.nn.init.kaiming_normal_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')[source] Fills the input Tensor with values according to the method described in Delving deep into rectifiers: Surp...
torch.nn.functional
kuxingseng123的博客
12-06 558
慢慢的会自己通过项目将各种的F函数给运用一番，全部都将其搞定都行啦的样子与打算，慢慢的将其搞透彻 研究彻底都行啦的回事
TypeError: torch.nn.modules.activation.ReLU is not a Module subclass解决办法
AnnChou的博客
09-18 1万+
TypeError: torch.nn.modules.activation.ReLU is not a Module subclass解决办法 TypeError: torch.nn.modules.activation.ReLU is not a Module subclass解决办法 最近学习pytorch，编写数字识别网络时遇到了如下问题： 给出的错误为： 题主发现原来错误是： ...
mish-cuda:PyTorch 的 Mish 激活函数
05-30
Mish-Cuda：自正则化非单调激活函数 这是 Diganta Misra ( ) Mish 激活的 PyTorch CUDA 实现。 安装 它目前作为仅源代码的 PyTorch 扩展分发。 因此，您需要正确设置工具链和 CUDA 编译器才能安装。 工具链- 在cxx_...
Pytorch中的激活函数
01-20
所以需要激活函数来引入非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中，增加了神经网络模型泛化的特性。 一般只有在输出层有极小的可能性使用线性激活函数，在...
PyTorch 激活函数、损失函数、优化器-谢TS的博客.pdf
07-17
激活函数的出现就是要让神经网络模型可以拟合复杂的非线性函数。激活函数是一个 非常简单的非线性函数，只要把多个神经网络层的输出应用激活函数，神经网络就具有拟合复杂非线性函数的强大能力。
pytorch_memlab:在pytorch中分析和检查内存
05-04
pytorch_memlab 一个简单，准确的pytorch CUDA内存管理实验室，它由有关内存的不同部分组成： 特征： 内存探查器：具有简单API的line_profiler样式CUDA内存探查器。 内存报告器：一个报告器，用于检查占用CUDA...
对比 PyTorch 和 TensorFlow：选择适合你的深度学习框架
CDBmax的博客
12-31 2308
PyTorch 是由 Facebook 的 AI 研究团队开发的一个开源机器学习库，最初发布于 2016 年。它的前身是 Torch，这是一个使用 Lua 语言编写的科学计算框架。PyTorch 的出现标志着 Torch 的核心功能被转移到了 Python 这一更加流行和广泛使用的编程语言中，同时保留了原有的灵活性和强大的功能。PyTorch 很快就因其易用性和强大的灵活性在学术界获得了广泛认可。它特别受到研究人员的青睐，因为它能够轻松地进行快速原型设计和实验。
目标检测实例分割数据集转换：从XML和JSON到YOLOv8(txt)
CDBmax的博客
12-27 2152
在计算机视觉领域，目标检测是一个重要而复杂的任务。随着深度学习技术的发展，各种高效的算法和模型如YOLOv8不断涌现。然而，在使用这些先进模型之前，必须确保我们的数据集是正确格式化的。今天，我将分享一段Python代码，它能够将XML和JSON格式的标注文件转换为适合YOLOv8模型训练的格式。
用pytorch给深度学习加速：正交与谱归一化技术
CDBmax的博客
01-09 1905
这篇博客探讨了PyTorch中的两种关键参数优化技术：正交参数化和谱归一化。正交参数化用于优化神经网络的权重矩阵，以保持其正交或酉性质，从而提高网络的训练稳定性和泛化能力。谱归一化则主要用于生成对抗网络（GANs），通过控制权重矩阵的谱范数来稳定判别器的训练。两种技术都是提高模型性能和训练效率的有效工具，适用于多种网络结构和应用场景。博客通过具体的代码示例，展示了如何在PyTorch中实现这些高级参数优化技术。
简单易懂的理解 PyTorch 中 Transformer 组件
CDBmax的博客
01-05 1821
本篇博客深入探讨了 PyTorch 的torch.nn子模块中与 Transformer 相关的核心组件。我们详细介绍了及其构成部分 —— 编码器 () 和解码器 ()，以及它们的基础层 ——和。每个部分的功能、作用、参数配置和实际应用示例都被全面解析。这些组件不仅提供了构建高效、灵活的 NLP 模型的基础，还展示了如何通过自注意力和多头注意力机制来捕捉语言数据中的复杂模式和长期依赖关系。
PyTorch 简单易懂的实现 CosineSimilarity 和 PairwiseDistance - 距离度量的操作
CDBmax的博客
01-07 1754
和。模块专注于计算两个高维数据集之间的余弦相似度，适用于评估文档、用户偏好等在特征空间中的相似性。而模块提供了一种计算两组数据点之间成对欧几里得距离的有效方式，这在聚类、近邻搜索或预测与实际值之间距离度量的场景中非常有用。这两个模块共同构成了在多种机器学习和数据科学应用中处理和比较数据集的基础工具。
简单易懂的PyTorch激活函数大全详解
CDBmax的博客
01-04 1655
本文综合概述了PyTorch框架中一系列关键的激活函数，从经典的ReLU到前沿的GELU和Mish，探讨了它们的数学定义、特点及实际应用。通过各函数对输入数据的不同处理方式，文章揭示了如何通过激活函数为神经网络模型注入非线性动力，以及它们在深度学习中的核心作用。从Sigmoid的平滑概率转换到GLU的复杂数据门控，这些激活函数是构建高效、稳健机器学习模型的基石，同时它们的多样性和特定应用场景为深度学习的进步提供了广阔空间。
深入 PyTorch：简单易懂探索 torch.nn 模块的强大功能
CDBmax的博客
01-02 1650
本文深入探索了 PyTorch 框架中的torch.nn模块，这是构建和实现高效深度学习模型的核心组件。我们详细介绍了torch.nn的关键类别和功能，包括ParameterModuleSequentialModuleListModuleDict和，为读者提供了一个全面的理解和应用指南。这篇博客仅仅是torch.nn的一部分功能，后续我这边会继续更新这个模块的其他相关功能。
使用AFPN渐近特征金字塔网络优化YOLOv8改进小目标检测效果（不适合新手）
最新发布
CDBmax的博客
01-20 1645
这张图是一个气泡图，用于比较不同的特征金字塔网络（Feature Pyramid Networks，简称FPNs）在目标检测任务中的平均精度（Average Precision，简称AP）和模型参数数量（以百万为单位）。X轴（Params (M)）：表示模型的参数数量，单位是百万（M）。参数越多，可能意味着模型更复杂，能够捕获更多细节，但也可能导致过拟合，并需要更多的计算资源。Y轴（Average Precision）：这是评价目标检测器在特定数据集（通常是MS COCO数据集）上准确度的一个指标。
简单易懂深入PyTorch中RNN、LSTM和GRU使用和理解
CDBmax的博客
01-05 1620
RNNBaseRNNLSTMGRU及其对应的单元格版本RNNCellLSTMCellGRUCell。每个类的功能、作用、参数和使用方法都得到了详细的解释和示例代码的支持。从基础的 RNN 架构到更复杂的 LSTM 和 GRU 结构，本文提供了深入了解这些强大的序列模型工具的机会，同时也展示了如何在实际场景中应用这些模型。这些类不仅对于理解序列数据的基本动态至关重要，而且在许多先进的深度学习应用中发挥着核心作用。
pytorch 激活函数
08-26
PyTorch中常用的激活函数有很多种，以下是一些常见的激活函数及其使用方法： 1. Sigmoid函数：torch.sigmoid(x) Sigmoid函数将输入值映射到0到1之间的连续输出，适用于二分类问题。 2. ReLU函数：torch.relu(x) ReLU函数将小于零的输入值置为零，大于零的输入值保持不变，适用于解决非线性问题。 3. LeakyReLU函数：torch.nn.LeakyReLU(negative_slope=0.01) LeakyReLU函数在小于零的区域引入一个小的斜率，可以解决ReLU函数的一些问题，如“神经元死亡”。 4. Tanh函数：torch.tanh(x) Tanh函数将输入值映射到-1到1之间的连续输出，适用于多分类问题。 5. Softmax函数：torch.softmax(x, dim=1) Softmax函数对多分类问题进行归一化操作，将多个输出值映射到（0,1）之间，并且所有输出值的和为1。 6. PReLU函数：torch.nn.PReLU(num_parameters=1) PReLU函数是一种带参数的修正线性单元，在小于零的区域引入一个可学习的小斜率。 这只是一部分常用的激活函数，PyTorch还提供了其他激活函数的实现方式，你可以根据具体的需求选择合适的激活函数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

E寻数据

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值