激活函数总结（四）：Hard系列激活函数补充(HardSigmoid、HardTanh、Hardswish)

最新推荐文章于 2024-01-11 04:30:00 发布
最新推荐文章于 2024-01-11 04:30:00 发布
阅读量1.5k 收藏 9
点赞数 4
分类专栏： 深度学习 文章标签： python 深度学习 激活函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36758270/article/details/132153698
版权

激活函数总结（四）：Hard系列激活函数补充

1 引言

在前面的文章中已经介绍了过去大家较为常见的激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout)。在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图：<

了解本专栏 订阅专栏 解锁全文 超级会员免费看
sjx_alo
关注
  • 4
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
订阅专栏
【DL经典回顾】激活函数大汇总（五）（Hard Sigmoid & Hard Tanh附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-14 861
在深度学习的实际应用和研究中，Hard Sigmoid和Hard Tanh因其简化的数学形式和计算上的高效性，在特定情况下被采用，尤其是在对模型大小和计算速度有严格要求的场景。本博客对这两个激活函数进行讨论。
常见激活函数excel图
08-07
常见激活函数的图，用excel画的，有图有数据，高清缩放不变形，论文必备，包括Sigmoid、Tanh、ReLU、LeakyReLU
【论文学习】轻量级网络——MobileNetV3终于来了（含开源代码）
热门推荐
Lingyun
05-13 9万+
论文名称：《Searching for MobileNetV3》 感谢github上大佬们开源，开源代码整理如下： （1）PyTorch实现1：https://github.com/xiaolai-sqlai/mobilenetv3 （2）PyTorch实现2：https://github.com/kuan-wang/pytorch-mobilenet-v3 （3）PyTorch实现...
深度学习—激活函数详解（Sigmoid、tanh、ReLU、ReLU6及变体P-R-Leaky、ELU、SELU、Swish、Mish、Maxout、hard-sigmoid、hard-swish）
jsk_learner的博客
10-30 3万+
非线性激活函数详解饱和激活函数Sigmoid函数tanh函数非饱和激活函数Relu（修正线性单元）：ELU（指数线性单元）SELULeaky-Relu / R-ReluP-Relu（参数化修正线性单元）R-Relu（随机纠正线性单元）SwishMaxout关于激活函数统一说明参考链接 因为深度学习模型中其它的层都是线性的函数拟合，即便是用很深的网络去拟合，其还是避免不了线性的特性，无法进行非线性...
【深度学习学习笔记】4.前馈神经网络之一：激活函数（Sigmoid和ReLu）
cazenove的博客
08-01 1708
神经元激活函数：一个非线性的函数1.Sigmoid型激活函数：Logistic函数：11+exp(−x)\frac{1}{1+exp(-x)}1+exp(−x)1​，值域（0，1）Tahn函数：exp(x)−exp(−x)exp(x)+exp(−x)\frac{exp(x)-exp(-x)}{exp(x)+exp(-x)}exp(x)+exp(−x)exp(x)−exp(−x)​，值域（-1，1）Hard Sigmoid函数：用分段函数近似Sigmoid函数hard-logistic（x）=max(min(
深度神经网络中常用的激活函数的优缺点分析
生命在于折腾！
06-27 1万+
深度神经网络中常用的激活函数的优缺点分析 本文主要总结了深度神经网络中常用的激活函数，根据其数学特性分析它的优缺点。 在开始之前，我们先讨论一下什么是激活函数(激活函数的作用)？ 如果将一个神经元的输出通过一个非线性函数，那么整个神经网络的模型也就不在是线性的了，这个非线性函数就是激活函数。 显然非线性函数具有更强的表达能力。引入非线性函数作为激励函数，这样深层神经网络表达能力（泛化能力）就更加强...
激活函数Swish和Hardswish简介
码农1479的博客
03-12 1万+
Swish激活函数和Hardswish激活函数学习笔记。
【深度学习】激活函数合集
AI爱好者的博客，分享计算机领域相关知识
03-18 2139
神经网络中激活函数的主要作用是提供网络的非线性建模能力，本文包含23种激活函数及其对应的函数图像，也给出pytorch对应的示例可视化代码。
【Python】Sigmoid和Hard Sigmoid激活函数对比总结及示例
最新发布
不定时分享，互相学习，共同进步
01-11 1300
Sigmoid和Hard Sigmoid是两种常用的激活函数，它们在神经网络中起到非线性变换的作用。以下是它们之间的对比和优缺点总结
一文搞懂激活函数
ytusdc的博客
08-01 1万+
1、什么是激活函数 神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。 2、激活函数的用途（为什么需要激活函数）？ 1. 对于y=ax+b 这样的函数，当x的输入很大时，y的输出也是无限大小的，经过多层网络叠加后，值更加膨胀的没边了，这显然不符合我们的预期，很多情况下我们希...
激活函数_ancientzyb_神经网络激活函数代码_
10-03
神经网络激活函数代码，有代码有图，可以直接用来学习使用。
ReLU激活函数杂谈
01-06
在实现多层感知机代码实现中使用了ReLU激活函数： ReLU(x)=max(x,0)ReLU(x)=max(x,0)ReLU(x)=max(x,0) 形状大概是这样的 这里根据几个问题来进行回答解释 为什么要使用激活函数呢？ 简单来说激活函数的作用就是将...
python 深度学习中的4种激活函数
09-24
主要介绍了python深度学习中的4种激活函数,帮助大家更好的进行深度学习，感兴趣的朋友可以了解下
关于激活函数
01-07
1.为什么要使用激活函数 因为线性函数能拟合的模型太少，多层线性神经网络的叠加仍为线性，加上非线性可以改善拟合效果。 2.激活函数的要求 非线性，可微（反向传播）。 3.常用的激活函数 Sigmoid 能够把输入的连续...
激活函数变种(Sigmoid、Hard-Sigmoid、Tanh、ReLU、Leaky ReLU、ELU、SELU、ReLU6、Swish、Hard-Swish、Mish)
认真努力，做一只会飞的毛毛虫。
11-01 7001
激活函数的作用：提供网络的非线性表达建模能力。 线性可分数据：可以通过机器学习(感知机、SVM)找到的线性方程来进行划分。 非线性可分数据：找不到一种线性方程来划分数据，此时需要引入非线性函数。 什么样的激活函数是好的激活函数：有上界，无下界，连续，非单调，响应均值为0，无梯度消失和梯度爆炸，易于计算。 Sigmoid 图中，梯度软饱和表示区域零但是没有到0；输出均值不为0，则网络收敛较慢。 Hard-Sigmoid Tanh Hard-Tanh ReLU Leaky ReLU(a为人为设置
pytorch中的 relu、sigmoid、tanh、softplus 函数
weixin_42528089的博客
12-06 5万+
 四种基本激励函数是需要掌握的： 1.relu  线性整流函数（Rectified Linear Unit, ReLU）,又称修正线性单元, 是一种人工神经网络中常用的激活函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。通常意义下，线性整流函数代指代数学中的斜坡函数，即 而在神经网络中，线性整流函数作为神经元的激活函数，定义了该神经元在线性变换 ...
【Python】AttributeError: module ‘torch.nn‘ has no attribute ‘HardSigmoid‘
不定时分享，互相学习，共同进步
01-11 931
AttributeError: module 'torch.nn' has no attribute 'HardSigmoid' 这个错误是因为PyTorch的torch.nn模块中并没有HardSigmoid这个函数。是拼写的大小写问题，换成`nn.Hardsigmoid()`即可。
常用的激活函数Sigmoid,ReLU,Swish,Mish,GELU
liguiyuan的博客
07-01 1万+
Sigmoid激活函数在我们的网络模型中比较常用，也常作为二分类任务的输出层，函数的输出范围为（0,1）
Hardswish激活函数相较于Silu激活函数的优点
09-07
Hardswish激活函数相较于Silu激活函数有以下几个优点： 1. 数值稳定性好：相较于Silu激活函数，Hardswish激活函数具有更好的数值稳定性，可以在计算中避免数值溢出或数值不稳定的问题。 2. 计算速度快：硬件设备上计算Hardswish激活函数的速度比计算Silu激活函数更快。这是因为Hardswish函数可以实现为分段函数，减少了内存访问次数，从而降低了等待时间成本。 3. 适用于嵌入式移动设备：由于Hardswish激活函数的计算成本较低，求导较为简单，在嵌入式移动设备上使用更为适合。相比之下，Silu激活函数的计算成本较高，求导较为复杂，不适合在嵌入式移动设备上使用。 综上所述，相较于Silu激活函数，Hardswish激活函数在数值稳定性、计算速度和适用性方面具有优势。<span class="em">1</span><span class="em">2</span><span class="em">3</span><span class="em">4</span>

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sjx_alo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值