激活函数Elu、Gelu、Swish、Silu、Sigmoid

已于 2024-09-06 13:49:16 修改
阅读量638 收藏
点赞数
文章标签： python 开发语言
于 2023-04-16 20:16:53 首次发布
原文链接：https://pytorch.org/docs/stable/generated/torch.nn.GELU.html
版权

先来张效果对比图：
在这里插入图片描述

Sigmoid

不过（0,0）点：
在这里插入图片描述

ELU（Exponential Linear Unit）

在这里插入图片描述

RELU (Rectified Linear Unit)

在这里插入图片描述

GELU(Gaussian Error Linear Units)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Swish 激活函数也叫Silu

在这里插入图片描述
转载自：

  1. https://mp.weixin.qq.com/s/BY5_NKrSOMQ0o4GxWUeYKA
  2. https://pytorch.org/docs/stable/generated/torch.nn.GELU.html
  3. https://blog.csdn.net/renwudao24/article/details/44465407
taoqick
关注
【DL经典回顾】激活函数大汇总（三）（Swish & GELU附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-13 1168
Swish和GELU激活函数是深度学习领域中两个重要的激活函数，它们在多个领域，尤其是自然语言处理（NLP）和计算机视觉（CV）中，表现出了卓越的性能。本文介绍了这两个激活函数。
激活函数总结（二）：ELU、SELU、GELU激活函数
走在深度学习前沿的小宋
08-08 4201
本文介绍了一些常用的激活函数，包括：ELU、SELU、GELU等激活函数及其在当前激活函数众多的情况下使用的环境。总体而言：GELU激活函数代替RELU成为了一种更为普遍的激活函数！！！
激活函数小结：ReLU、ELU、Swish、GELU等
beingstrong的博客
10-14 5854
激活函数Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、ELU、SoftPlus、Maxout、Mish、Swish、GELU、SwiGLU、GEGLU 总结
【笔记】激活函数SiLU和Swish
最新发布
m0_53162279的博客
10-10 378
Swish 函数在实践中已经证明了其有效性，特别是在深度神经网络中。它既有 ReLU（Rectified Linear Unit）激活函数的一些优点（例如，能够缓解梯度消失问题），又能解决 ReLU 函数的一些缺点（例如，ReLU 函数不是零中心的，且在负数部分的梯度为零）。此外，Swish 函数还是平滑函数，这意味着它在整个定义域内都有导数，这有利于优化。可以看做是平滑的ReLU激活函数。SiLU（Sigmoid Linear Unit）激活函数也被称为 Swish 激活函数。
常用的激活函数理解
weixin_41168869的博客
06-21 1398
常见的激活函数包括sigmoid函数、ReLU函数、Leaky ReLU函数、ELU函数、tanh函数、softmax函数和 gelu函数等。下面对每种激活函数进行详细介绍。
推荐系统笔记（十二）：常用激活函数gelu、swish等
qq_46006468的博客
08-03 4203
gelu就是高斯误差线性单元，这种激活函数在激活中加入了随机正则的思想，是一种对神经元输入的概率描述。为了方便记忆，这里做简要的笔记。汇总有：Identity、Sigmoid、TanH、Softmax、Softsign、Softplus、ReLU、Leaky ReLU、Randomized ReLU、SELU、GELU。其中在推荐系统的lightGCN中取消使用非线性激活函数。...
[从0开始AIGC][Transformer相关]：Transformer中的激活函数：Relu、GELU、GLU、Swish
Bin_Dut的博客
04-02 3508
FFN（Feed-Forward Network）块是Transformer模型中的一个重要组成部分，接受自注意力子层的输出作为输入，并通过一个带有 Relu 激活函数的两层全连接网络对输入进行更加复杂的非线性变换。在公式中，首先将输入向量 x 通过一个全连接层（线性变换）得到一个与 x 维度相同的向量，然后将该向量通过Sigmoid函数进行激活。在公式中，Swish函数首先对输入向量 x 进行一个非线性变换，然后通过Sigmoid函数进行激活，并将该激活结果与输入向量 x 逐元素相乘，得到最终的输出值。
[杂记]激活函数SiLU和Swish的区别
卷子的博客
01-14 1万+
从代码和公式来看，SiLU是Swish的一种，换句话说SiLU是Swish的一种情况。 SiLU(x)=x⋅Sigmoid(x) SiLU(x) = x \cdot Sigmoid(x) SiLU(x)=x⋅Sigmoid(x) Swish(x)=x⋅Sigmoid(βx) Swish(x) = x \cdot Sigmoid(\beta x) Swish(x)=x⋅Sigmoid(βx) Swish原文：https://arxiv.org/pdf/1710.05941.pdf SiLU的出处没有找到。 主
激活函数 Relu,Gelu,Mish,SiLU,Swish,Tanh,Sigmoid
weixin_38649779的博客
11-02 1万+
激活函数 总结
【神经网络与深度学习】各种激活函数+前馈神经网络理论 ① S型激活函数 ② ReLU函数 ③ Swish函数 ④ GELU函数 ⑤ Maxout单元
Bessie_Lee
01-21 3721
文章目录一、常见的三种网络结构二、激活函数（1）S型激活函数logistic函数和Tanh函数：hard-logistic函数和hard-Tanh函数：（2）ReLU函数带泄露的ReLU【leaky ReLU】带参数的ReLU【Parametric ReLU或者PReLU】指数线性单元【ELU】ReLU函数的平滑版本【SoftPlus】四种函数的图像（3）Swish函数（4）GELU函数（5）Maxout单元三、前馈神经网络 一、常见的三种网络结构 我们熟知的网络结构有三种，分别是前馈神经网络，记忆神经网
史上最全激活函数总结篇（持续更新ing......）
走在深度学习前沿的小宋
09-27 7884
激活函数系列中提及到的激活函数包括：Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logs
21种激活函数的对比
06-09
- **Sigmoid Linear Unit (SiLU)**: 类似Swish函数，但在某些情况下表现出更好的性能。 - **Bent Identity**: 形状类似于ReLU，但避免了死神经元问题。 #### 激活函数的选择策略 - **任务类型**：对于分类任务，...
[YOLOv7/YOLOv5系列算法改进NO.34]更换激活函数为FReLU等十余种激活函数
m0_70388905的博客
10-18 8152
YOLOv5、v7改进之三十四：更换激活函数为FReLU。关注即免费获取深度学习资料！
YOLOv8改进 | 激活函数 | 十余种常见的激活函数一键替换【完整代码】
kay_545
08-02 1314
yolov8改进，激活函数，yolov8
激活函数篇
Major_S的博客
02-11 898
平面方程及类型
SiLu激活函数解释
热门推荐
m0_63260018的博客
06-04 2万+
在yolo v5中，我们使用了SiLu激活函数。
gelu
kyle1314608的博客
11-21 530
博客园 首页 新随笔 联系 管理 订阅 <div class="blogStats"> <!--done--> 随笔- 75  文章- 0  评论- 40  </div><!--end: blogStats --> </d...
常用的激活函数Sigmoid,ReLU,Swish,Mish,GELU
liguiyuan的博客
07-01 1万+
Sigmoid激活函数在我们的网络模型中比较常用，也常作为二分类任务的输出层，函数的输出范围为（0,1）
常用激活函数(relu,glu,gelu,swish等)
cdLiang的博客
02-22 1万+
常用激活函数总结，relu,glu,gelu,swish等，并且给出pytorch的调用接口，或pytorch的实现
绘制silu激活函数图像
03-26
抱歉，作为AI助手，我无法绘制图像。不过，我可以向您描述一下SiLU激活函数的图像特性。 SiLU（Sigmoid-Weighted Linear Unit）激活函数也称为Swish激活函数，是由Google研究员在2017年提出的。它的函数表达式为： f(x) = x/(1+e^{-x}) 这里，x是神经元的输入。SiLU是一个非常平滑的激活函数，看上去类似于Sigmoid函数，但在输入为负数时比Sigmoid函数更平滑。当输入靠近0时，SiLU的斜率趋近于1，这使它比ReLU激活函数更加连续。相比其他激活函数，SiLU具有更好的数值性质，并且在实践中表现良好。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值