激活函数Gelu、Swish、Silu

已于 2024-03-03 10:33:14 修改
阅读量437 收藏
点赞数
文章标签： python 开发语言
于 2023-04-16 20:16:53 首次发布
原文链接：https://pytorch.org/docs/stable/generated/torch.nn.GELU.html
版权

先来张效果对比图：
在这里插入图片描述

RELU (Rectified Linear Unit)

在这里插入图片描述

GELU(Gaussian Error Linear Units)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Swish 激活函数也叫Silu

在这里插入图片描述
转载自：

  1. https://mp.weixin.qq.com/s/BY5_NKrSOMQ0o4GxWUeYKA
  2. https://pytorch.org/docs/stable/generated/torch.nn.GELU.html
  3. https://blog.csdn.net/renwudao24/article/details/44465407
taoqick
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
激活函数 Relu,Gelu,Mish,SiLU,Swish,Tanh,Sigmoid
weixin_38649779的博客
11-02 1万+
激活函数 总结
常用的激活函数理解
weixin_41168869的博客
06-21 1254
常见的激活函数包括sigmoid函数、ReLU函数、Leaky ReLU函数、ELU函数、tanh函数、softmax函数和 gelu函数等。下面对每种激活函数进行详细介绍。
国内外 30 个热门大模型的架构的图文解析汇总
最新发布
2301_76161259的博客
05-06 1815
在近两年内，有关 LLM 的研究进展很快，每天几乎都有新的语言模型发布（隐藏的 GPT-5，Llama3，Qwen1.5，Mixtral 8x22B 和 Claude 3 等等等等），它们的性能和效果似乎每天都在持续提升。然而，令人震惊的是，大多数现代 LLM 所使用的架构与最初的 GPT 模型非常相似。从模型架构角度出发，LLM 的一个关键组成部分一直保持不变，那就是 Transformer 架构的 Decoder。
ViT学习笔记
m0_53374472的博客
11-03 3159
ViT模型入门
[杂记]激活函数SiLU和Swish的区别
热门推荐
卷子的博客
01-14 1万+
从代码和公式来看，SiLU是Swish的一种，换句话说SiLU是Swish的一种情况。 SiLU(x)=x⋅Sigmoid(x) SiLU(x) = x \cdot Sigmoid(x) SiLU(x)=x⋅Sigmoid(x) Swish(x)=x⋅Sigmoid(βx) Swish(x) = x \cdot Sigmoid(\beta x) Swish(x)=x⋅Sigmoid(βx) Swish原文：https://arxiv.org/pdf/1710.05941.pdf SiLU的出处没有找到。 主
推荐系统笔记（十二）：常用激活函数gelu、swish等
qq_46006468的博客
08-03 3842
gelu就是高斯误差线性单元，这种激活函数在激活中加入了随机正则的思想，是一种对神经元输入的概率描述。为了方便记忆，这里做简要的笔记。汇总有：Identity、Sigmoid、TanH、Softmax、Softsign、Softplus、ReLU、Leaky ReLU、Randomized ReLU、SELU、GELU。其中在推荐系统的lightGCN中取消使用非线性激活函数。...
2023-简单点-机器学习中常用的特殊函数，激活函数[sigmoid tanh ]
万物琴弦存于你的泡沫之中，光锥之外
11-28 1万+
sigmoid函数可以将输入映射到0-1之间，常用于机器学习和深度学习中的激活函数。因此，logistic函数可以用于将输入映射到0或1之间。常用的激活函数，其实也是特殊的logistic函数。特殊点记忆： 经过 [0 , 1]定义域：【负无穷,正无穷】
21种激活函数的对比
06-09
- **Sigmoid Linear Unit (SiLU)**: 类似Swish函数，但在某些情况下表现出更好的性能。 - **Bent Identity**: 形状类似于ReLU，但避免了死神经元问题。 #### 激活函数的选择策略 - **任务类型**：对于分类任务，...
从ReLU到GELU，一文概览神经网络的激活函数.zip
12-21
从最初的Sigmoid和Tanh，到ReLU的流行，再到GELU和其他更先进的激活函数，这个领域的研究一直在不断发展，以适应不断增长的复杂数据处理需求。了解并合理选用激活函数，可以帮助我们构建出更强大、更鲁棒的深度学习...
激活函数论文GELUS1
08-03
本文主要介绍了一种新的神经网络激活函数Gaussian Error Linear Unit（GELU），该函数能够在计算机视觉、自然语言处理和语音处理任务中取得性能改进。 首先，作者回顾了神经网络激活函数的发展历程。早期的神经元...
pytorch方法测试——激活函数(ReLU)详解
12-23
然而，在某些情况下，其他激活函数如Leaky ReLU、ELU或GELU等可能会提供更好的性能。 总的来说，了解并正确使用ReLU是理解和构建深度学习模型的关键。在PyTorch中，通过`nn.ReLU()`可以方便地集成到神经网络架构中...
ActivationFunctions:在Tensorflow中从头开始实现激活功能
05-26
在Keras中使用自定义图层的... 链接到主笔记本-> 已实施的激活： 漏泄参数反射lu SElu 挥舞格鲁结构 src||-- Activations.ipynb|-- utils |-- Utils.ipynb |-- utils.py references||--Ref1|--Refn用法 git clone ...
【神经网络与深度学习】各种激活函数+前馈神经网络理论 ① S型激活函数 ② ReLU函数 ③ Swish函数 ④ GELU函数 ⑤ Maxout单元
Bessie_Lee
01-21 3562
文章目录一、常见的三种网络结构二、激活函数（1）S型激活函数logistic函数和Tanh函数：hard-logistic函数和hard-Tanh函数：（2）ReLU函数带泄露的ReLU【leaky ReLU】带参数的ReLU【Parametric ReLU或者PReLU】指数线性单元【ELU】ReLU函数的平滑版本【SoftPlus】四种函数的图像（3）Swish函数（4）GELU函数（5）Maxout单元三、前馈神经网络 一、常见的三种网络结构 我们熟知的网络结构有三种，分别是前馈神经网络，记忆神经网
深度学习卷积神经网络中常见的激活函数图像绘制python
学习笔记居多
12-27 965
论文专用：各个种类的激活函数的图像绘制。
常用的激活函数Sigmoid,ReLU,Swish,Mish,GELU
liguiyuan的博客
07-01 1万+
Sigmoid激活函数在我们的网络模型中比较常用，也常作为二分类任务的输出层，函数的输出范围为（0,1）
【DL经典回顾】激活函数大汇总（三）（Swish & GELU附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-13 1024
Swish和GELU激活函数是深度学习领域中两个重要的激活函数，它们在多个领域，尤其是自然语言处理（NLP）和计算机视觉（CV）中，表现出了卓越的性能。本文介绍了这两个激活函数。
常用激活函数(relu,glu,gelu,swish等)
cdLiang的博客
02-22 1万+
常用激活函数总结，relu,glu,gelu,swish等，并且给出pytorch的调用接口，或pytorch的实现
《南溪的目标检测学习笔记》——激活函数的学习笔记
墨门
01-26 3061
1 ReLU——最常用的激活函数 我们可以看看ReLU的图像 2 SiLU——较为平滑的激活函数 可以看看SiLU的图像
PyTorch中激活函数GELU、Swish、Mish函数的实现
qq_39332551的博客
05-26 5069
GELU的中文名为高斯误差线性单元，它在自然语言处理领域被广泛应用。GELU激活函数结合了激活参数1或0的取值概率和神经网络的激活值，使得神经网络的激活值越小，其所乘的激活概率为1的概率越小，以此保留概率性和对输入的依赖性。具体实现如下： def gelu(x): return 0.5*x*(1+tanh(np.sqrt(2/np.pi)*(x+0.044715*pow(x,3)))) Swish和Mish函数可以看作是GELU的一个特例，可以替换模型中现有的激活函数，使模型精度有所提高。实现
gelu和silu激活函数优缺点
04-06
Gelu和Silu是近年来被提出的两种新的激活函数，相比传统的激活函数如sigmoid和ReLU，它们具有一些优点和缺点。 Gelu的优点： 1. 激活函数的值域在整个实数范围内，避免了sigmoid函数在极端值处的梯度消失问题； 2. 激活函数的导数在大部分区间内都为非零值，避免了ReLU函数在负数区间内的梯度为0问题； 3. Gelu函数在接近0时的导数接近1，能够保留更多的信息。 Gelu的缺点： 1. Gelu函数的计算比ReLU函数复杂，计算速度较慢； 2. Gelu函数在负数区间内仍然存在梯度消失问题。 Silu的优点： 1. Silu函数的计算速度比ReLU函数更快，因为它只涉及一个sigmoid函数的计算； 2. Silu函数在接近0时的导数接近1，能够保留更多的信息。 Silu的缺点： 1. Silu函数在接近正无穷和负无穷时的导数接近0，可能导致梯度消失问题； 2. Silu函数的值域在(0,1)之间，可能会导致信息的损失。 综合来看，Gelu和Silu都具有一些优点和缺点，需要在实际应用中根据具体情况进行选择。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值