softsign与tanh的比较

最新推荐文章于 2025-02-24 11:01:27 发布
最新推荐文章于 2025-02-24 11:01:27 发布
阅读量1.7w 收藏 31
点赞数 10
分类专栏： deep learning 文章标签： activation function dl ml
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ningyanggege/article/details/80665888
版权

先来看两图：

容易看出tanh比softsign更容易饱和

softsign的导数



tanh的导数：



Softsign 是 Tanh 激活函数的另一个替代选择。就像 Tanh 一样，Softsign 是反对称、去中心、可微分，并返回-1 和 1 之间的值。其更平坦的曲线与更慢的下降导数表明它可以更高效地学习，比tanh更好的解决梯度消失的问题。另一方面，导数的计算比 Tanh 更麻烦；

在实践中，可以深度用softsign替代tanh激活函数

激活函数总结（七）：激活函数补充(Softsign、Threshold、Sinc)
走在深度学习前沿的小宋
08-13 1761
本文为前面介绍的激活函数进行一定的补充，包括：Softsign、Threshold、Sinc等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：这些激活函数大多数都会后面优秀的ReLU系列激活函数所击败。其中，Sinc激活函数可能会被后续应用在周期性数据的训练当中。
【DL经典回顾】激活函数大汇总（六）（Mish & Softsign附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-14 1005
本博客主要介绍Mish和Softsign两种激活函数。
Softsign Tanh 速度对比
人工智能
06-02 644
softsign vs tanh
Tanh激活函数详解
最新发布
2401_86968005的博客
02-24 1073
tanh（双曲正切）激活函数是一种在神经网络中常用的非线性激活函数。它的主要作用是引入非线性因素，使得神经网络可以学习和模拟更复杂的函数关系。同时，tanh函数的输出范围在(-1, 1)之间，具有零均值特性，有助于模型的收敛。：(-1, 1)：关于原点对称的S型曲线tanhxexe−xex−e−x​。
深度学习Deep Learning（03）：权重初始化问题1_Sigmoid\tanh\Softsign激励函数
莫失莫忘的博客
12-20 1万+
二、权重初始化问题1_Sigmoid\tanh\Softsign激励函数 github地址：https://github.com/lawlite19/DeepLearning_Python 1、说明 参考论文：http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf 或者查看这里，我放在github上了：https://github.
机器学习基础（五十六）—— tanh、sign 与 softsign
04-24 1万+
tanh：hyperbolic functions；tanh(s)=exp(s)−exp(−s)exp(s)+exp(−s) \tanh(s)=\frac{\exp(s)-\exp(-s)}{\exp(s)+\exp(-s)} 可以看出，tanh\tanh 函数是对 sign\text{sign} 函数的逼近或者近似，是对 sign\text{sign} 的离散性而导致的难以优化的缺陷的弥补
4用于cifar10的卷积神经网络-4.19tanh和softsign激活函数的输出汇总分析
hongxue8888的博客
11-27 704
4用于cifar10的卷积神经网络-4.19tanh和softsign激活函数的输出汇总分析
机器学习中的数学——激活函数（十一）：Softsign函数
热门推荐
冯·诺依曼
10-06 3万+
Softsign函数是Tanh函数的另一个替代选择。就像Tanh函数一样，Softsign函数是反对称、去中心、可微分，并返回-1和1之间的值。其更平坦的曲线与更慢的下降导数表明它可以更高效地学习，比tTanh函数更好的解决梯度消失的问题。另一方面，Softsign函数的导数的计算比Tanh函数更麻烦。 Softsign(x)=x1+∣x∣\text{Softsign}(x)=\frac{x}{1+|x|}Softsign(x)=1+∣x∣x​ Softsign′(x)=1(1+∣x∣)2\text{Sof
机器学习基础（五十六）—— tanh sign 与 softsign
hftytf的博客
02-10 685
机器学习基础（五十六）—— tanh sign 与 softsign
深度学习日常发问（三）：激活函数性能对比
明曦君的小家
04-03 3098
写在开头：今天主要分享一下对不同激活函数性能的理解，无大量案例支撑无专业性，仅当复习知识点。 内容介绍 在本节中我们会对常见的激活函数进行介绍，并介绍其优缺点，最后通过代码的实现来完成对比。 Q1：什么是激活函数？为什么需要激活函数？ Q2：激活函数有哪些？ Q3：这些激活函数之间图像有多大的差异？ Q4：那么怎么来检验各个激活函数之间的性能呢？ 开始分享 Q4：那么怎么来检验各个激活函数之间...
softsign函数知道吗
07-08
是的，我知道softsign函数。...softsign函数在输入接近于零时变得更加平滑，相比于其他激活函数如sigmoid函数或tanh函数，它的梯度在大部分区域都不会饱和。这使得softsign函数在一些情况下更容易训练神经网络。
python语言画出Sigmoid,Tanh,RuLe函数图像
11-26
python语言画出Sigmoid,Tanh,RuLe函数图像,实现图像的可视化
【DL经典回顾】激活函数大汇总（四十八）（Scaled SoftSign附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-26 803
Scaled SoftSign激活函数是SoftSign激活函数的一个变体，通过引入缩放因子来改变其行为。本博客重点介绍这个激活函数。
激活函数总结（三十）：激活函数补充(Logit、Softsign)
走在深度学习前沿的小宋
09-08 625
本文为前面介绍的激活函数进行了一些激活函数补充，包括：Logit、Softsign等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：Logit和Softsign虽然简单，但是很少会使用到。。。。
softsign激活函数
jacke121的专栏
11-12 3557
softsign激活函数 pytorch函数： a_tensor=torch.Tensor([[-1,2,30],[4,5,60],[7,8,9]]) aaaaa=F.softsign(a_tensor) print(a_tensor) class SoftSign(Activation): def __init__(self, x): super(SoftSign, self).__init__(x) def forward(s
深度学习的激活函数  ：sigmoid、tanh、ReLU 、Leaky Relu、RReLU、softsign 、softplus、GELU
冷月无声的博客
05-06 2万+
【 tensorflow中文文档：tensorflow 的激活函数有哪些】 激活函数可以分为两大类 ： 饱和激活函数：sigmoid、 tanh 非饱和激活函数:ReLU 、Leaky Relu 、ELU【指数线性单元】、PReLU【参数化的ReLU 】、RReLU【随机ReLU】 相对于饱和激活函数，使用“非饱和激活函数”的优势在于两点： 1.首先，“非饱和激活...
深入理解 PyTorch 激活函数：从基础到高效实用技巧（3）
CDBmax的博客
01-16 1904
在数学上，这相当于取 Sigmoid 函数的输出并对其应用自然对数。对数 Sigmoid 函数平滑地将每个元素映射到负无穷大到零的区间，提供了一种平滑的方式来处理接近于0和1的极端值。如果，则保持x不变。如果，则将x设为 0。这种方法通过硬阈值将输入张量中绝对值较小的元素设置为零，而保持其它元素不变。这个公式表示每个元素的值减去其双曲正切值。函数的输出是输入值和其双曲正切的差值，这种设计在输入值较小（接近零）时，输出接近零，而在输入值较大时，输出趋于饱和。
SignReLU激活函数
weixin_38190702的博客
06-25 460
SoftReLU激活函数简介
Day4_深度学习常见的激活函数选择
qq_45912513的博客
08-11 1693
激活函数
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值