torch.nn模块之常用激活函数详解

最新推荐文章于 2024-05-23 17:52:35 发布
最新推荐文章于 2024-05-23 17:52:35 发布
阅读量1.1w 收藏 32
点赞数 14
分类专栏： PyTorch深度学习入门与实战系列 文章标签： 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DIPDWC/article/details/112686489
版权

激活函数

1. 常用的激活函数

在PyTorch中，提供了十几种激活函数层所对应的类，但常用的激活函数类和和功能如下表1所示。

表1 常用激活函数操作
名称 层对应的类 功能
S型激活函数 torch.nn.Sigmoid Sigmoid激活函数
双曲正切函数 torch.nn.Tanh Tanh激活函数
线性修正单元函数 torch.nn.ReLu ReLu激活函数
ReLu函数变体 torch.nn.LeakyReLu LeakyReLu激活函数
平滑近似ReLu函数 torch.nn.Softplus ReLu激活函数的平滑近似

2. 激活函数计算公式及其可视化

2.1 Sigmoid激活函数

torch.nn.Sigmoid()对应的Sigmoid激活函数，也叫logistic激活函数。

Sigmoid函数计算公式为
f ( x ) = 1 1 + e − x f(x)=\frac1{1+e^{-x}} f(x)=1+e−x1​
Sigmoid函数的导数有一个特殊的性质（导数是关于原函数的函数），导数公式如下：
f ′ ( x ) = f ( x ) ∗ ( 1 − f ( x ) ) f'(x)=f(x)*(1-f(x)) f′(x)=f(x)

最低0.47元/天 解锁文章
@DWC_DIP
关注
  • 14
    点赞
  • 踩
  • 32
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
PyTorch基础教程（七）torch.nn 模块（3）
旗狼
08-28 1240
深度学习工具之PyTorch，通过学习PyTorch可以提高神经网络模型搭建效率，更好的构建出您想要的模型。通过学习本章内容，您可以学习到有关 PyTorch 中模块的简介
【pytorch函数笔记（二）】torch.nn.Sigmoid()
大道至简
03-31 4万+
import torch.nn as nn torch.nn.sigmoid() 一、sigmoid介绍   sigmoid是激活函数的一种，它会将样本值映射到0到1之间。   sigmoid的公式如下： 11+e−x \frac{1}{1+e^{-x}} 1+e−x1​ 二、sigmoid的应用 代码： import torch.nn as nn import torch #取一组满足标准正态分布的随机数构成3*3的张量 t1 = torch.randn(3,3) m = nn.Sigmoid()
常用torch.nn
最新发布
m0_37737957的博客
05-23 793
常用基础pytorch知识
torch.sigmoid与nn.sigmoid的区别
ghashgsgg的博客
03-27 1685
与torch.sigmoid 不同的是，nn.Sigmoid 的输入和输出都是张量，通过其forward方法的计算，将输入张量进行逐元素的Sigmoid计算，输出结果也是张量。因此，torch.sigmoid 返回的是原始输入的Sigmoid函数值张量。总之，torch.sigmoid 和 nn.Sigmoid 在计算Sigmoid函数上是相同的，但 nn.Sigmoid 是PyTorch中的一个层，需要被实例化并应用在神经网络中，而 torch.sigmoid 是一个函数，可以直接用于张量的逐元素操作。
[Python] pytorch激活函数之Sigmoid函数介绍，使用场景和使用案例
老狼工作室的博客
01-06 2111
本文介绍了pytorch中Sigmoid激活函数及其使用场景和使用案例。
非线性激活函数之nn.ReLU和nn.Sigmoid
mengdeer_Q的博客
02-17 1099
以非线性激活函数nn.ReLU和nn.Sigmoid介绍非线性激活函数的用法 参数inplace表示是否改变原来的值，例如nn.ReLu(input, inplace= Ture) 表示input的值会改变 而nn.ReLu(input, inplace= False) 表示input的值不会改变，可以让output值接收，例如： output = n.ReLu(input, inplace= False) 此时input为原值，而output接收处理后的值 建议设置inplace = False, 以免丢
神经网络的基本框架的搭建-nn.Module
qq_55414382的博客
09-29 3649
卷积层是卷积神经网络（CNN）中的核心组件之一，它在图像处理和其他领域的深度学习任务中发挥着重要作用。卷积层通过卷积操作对输入数据进行特征提取和特征映射，具有以下几个主要作用：特征提取：卷积层通过卷积操作从输入数据中提取有用的特征。卷积操作通过滑动窗口的方式在输入数据上进行局部采样，并使用卷积核（也称为滤波器）与采样到的数据进行卷积运算。这样可以检测出输入数据中的边缘、纹理、形状等低级特征。特征映射：卷积层通过应用多个卷积核并对它们的输出进行叠加，生成多个特征映射（feature map）。
pytorch1.0中torch.nn.Conv2d用法详解
09-18
在PyTorch 1.0中，`torch.nn.Conv2d`是用于执行二维卷积操作的核心模块。它是深度学习模型，尤其是计算机视觉任务中不可或缺的一部分。本文将深入讲解`nn.Conv2d`的主要功能、参数及其用法。 首先，`nn.Conv2d`的...
pytorch方法测试——激活函数(ReLU)详解
12-23
**PyTorch中的激活函数ReLU详解** 在深度学习领域，激活函数是神经网络的重要组成部分，它们引入非线性，使得神经网络能够学习更复杂的模式。ReLU（Rectified Linear Unit）是最常用的激活函数之一，因其简单高效而...
Pytorch十九种损失函数的使用详解
12-20
首先，损失函数的基本使用方式是通过`torch.nn`模块创建一个损失对象，然后传入模型的输出`output`和目标变量`target`来计算损失。例如： ```python criterion = LossCriterion() loss = criterion(output, target) ...
pytorch基础（3）【sigmoid,激活函数，优化器】
qq_61094172的博客
03-27 3631
sigmoid函数 logistic function是一种sigmoid函数 和Linear的区别 sigmoid函数是不需要参数的，所以不用对其初始化（直接调用nn.functional.sigmoid即可）。 另外loss函数从MSE改用交叉熵BCE：尽可能和真实分类贴近。 # -*- coding: utf-8 -*- """ Created on Mon Oct 18 08:35:00 2021 @author: 86493 """ import torch import torch.nn
torch.nn模块 激活函数
hhhhxxn的博客
11-27 1847
常用的激活函数： 以下使用PyTorch中的激活函数可视化以上几种激活函数的图像： 代码如下： import torch import torch.nn as nn import numpy as np import matplotlib.pyplot as plt from PIL import Image ##PIL包读取图像数据 x = torch.linspace(-6,6,100) ## sigmoid激活函数 sigmoid = nn.Sigmoid() ysigmoid = sigm
pytorch nn.Sigmoid函数好像只支持绝对值小于1数的计算
zjh12312311的博客
07-12 2531
激活函数sigmoid input = torch.randn(2,3) print(input) tensor([[-0.2863, 0.1606, -0.6738], [ 0.3379, -0.5613, 0.3672]]) X = torch.tensor([[1,2,3],[2,3,4]]) Y = mod(X) print(Y) ------------------------------------------------------------------------
torch.sigmoid() 与 torch.nn.Sigmoid() 对比 python
热门推荐
是鲤鱼啊
03-26 11万+
1. torch.sigmoid() 2. torch.nn.Sigmoid() 只看文档，我没太看出二者的具体区别，通过以下可知得到结果自然相同，不过使用方式确实不同，我目前也没明白为啥： ...
PyTorch【5】torch.nn模块常用层与激活函数
m0_63462829的博客
09-24 948
torch.nn模块常用层与激活函数
Pytorch激活函数最全汇总
ting_qifengl的博客
04-28 7365
为了更清晰地学习Pytorch中的激活函数，并对比它们之间的不同，这里对最新版本的Pytorch中的激活函数进行了汇总，主要介绍激活函数的公式、图像以及使用方法，具体细节可查看官方文档。
PyTorch | torch.sigmoid、torch.nn.Sigmoid
W1995S的博客
04-04 2385
torch.sigmoid 我们可以看到，这是一个方法，拥有Parametrs和Returns。 torch.nn.Sigmoid 可以看到官网文档在左上角标注着显眼的CLASS，同时根据Examples我们可以得出结论，torch.nn.Sigmoid在我们的神经网络中使用时，我们应该将其看作是网络的一层，而不是简单的函数使用。 torch.nn.functional.sigmoid 事实上，torch.nn.functional从这个包名就能看出来，这个包里的都是函数。同样的，按照官网的文档的内容，
Pytorch的22个激活函数
weixin_36670529的博客
03-10 1万+
转自：https://www.pianshen.com/article/33331174884/ 1.22.Linear常用激活函数 1.22.1.ReLU torch.nn.ReLU() 1.22.2.RReLU torch.nn.RReLU() 1.22.3.LeakyReLU torch.nn.LeakyReLU() 1.22.4.PReLU torch.nn.PReLU() 1.22.5.Sofplus torch.nn.Softplus() 1.22.6.ELU torch.nn.ELU() 1
神经网络—非线性激活中ReLU函数和Sigmoid函数的使用
m0_51816252的博客
06-02 2306
非线性激活在神经网络的搭建中很重要，我们可以简单的理解为非线性变化的目的就是为神经网络中引入非线性特征，这样才能训练出符合各种特征，各种曲线的模型。
torch.nn中常用的损失函数
04-02
在 torch.nn 中常用的损失函数有: - `nn.MSELoss`: 均方误差损失函数, 常用于回归问题. - `nn.CrossEntropyLoss`: 交叉熵损失函数, 常用于分类问题. - `nn.NLLLoss`: 对数似然损失函数, 常用于自然语言处理中的序列标注问题. - `nn.L1Loss`: L1 范数损失函数, 常用于稀疏性正则化. - `nn.BCELoss`: 二分类交叉熵损失函数, 常用于二分类问题. 还有一些其他的损失函数, 例如 `nn.PoissonNLLLoss` 和 `nn.KLDivLoss`, 具体使用哪一个损失函数取决于问题的具体情况.
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值