softsign与tanh的比较

于 2018-06-12 15:33:29 发布 14573 收藏 21
分类专栏： deep learning 文章标签： activation function dl ml
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ningyanggege/article/details/80665888
版权

先来看两图：

容易看出tanh比softsign更容易饱和

softsign的导数



tanh的导数：



Softsign 是 Tanh 激活函数的另一个替代选择。就像 Tanh 一样，Softsign 是反对称、去中心、可微分，并返回-1 和 1 之间的值。其更平坦的曲线与更慢的下降导数表明它可以更高效地学习，比tanh更好的解决梯度消失的问题。另一方面，导数的计算比 Tanh 更麻烦；

在实践中，可以深度用softsign替代tanh激活函数

Takoony
关注
  • 6
    点赞
  • 踩
  • 21
    收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
bug2algorithm_matlab_bugalgorithm_bug2_
10-02
bug 2 algorithm to avoid obstacles (code in matlab)
mpf11_Learning rate_Activation_Loss_Optimizer_Quadratic Program_NewtonTaylor_L-BFGS_Nesterov_Hessian
最新发布
Linli522362242的专栏
10-13 151
Linear,Sigmoid,Hard Tanh,Leaky ReLU,PRelu,SeLU,Softplus,Softsign,MAE,MSE,Huber, Logistic,Cross entropy,Focal,Hinge,Exponential,Softmax, Quantile,SGD,Momentum,NAG,AdaGrad,RMSprop,AdaMax,Nadam,Adadelta,Timedecay,Piecewise constant,Performance,1cycle,Hessian
机器学习中的数学——激活函数（十一）：Softsign函数
冯·诺依曼
10-06 1万+
Softsign函数是Tanh函数的另一个替代选择。就像Tanh函数一样，Softsign函数是反对称、去中心、可微分，并返回-1和1之间的值。其更平坦的曲线与更慢的下降导数表明它可以更高效地学习，比tTanh函数更好的解决梯度消失的问题。另一方面，Softsign函数的导数的计算比Tanh函数更麻烦。 Softsign(x)=x1+∣x∣\text{Softsign}(x)=\frac{x}{1+|x|}Softsign(x)=1+∣x∣x​ Softsign′(x)=1(1+∣x∣)2\text{Sof
深度学习的激活函数 ：sigmoid、tanh、ReLU 、Leaky Relu、RReLU、softsign 、softplus
u012413709的博客
09-11 234
深度学习的激活函数 ：sigmoid、tanh、ReLU 、Leaky Relu、RReLU、softsign、softplus：https://www.pianshen.com/article/6147380115/
4用于cifar10的卷积神经网络-4.19tanh和softsign激活函数的输出汇总分析
hongxue8888的博客
11-27 600
4用于cifar10的卷积神经网络-4.19tanh和softsign激活函数的输出汇总分析
深度学习——激活函数（函数，函数图像，优缺点，使用建议）
in546的博客
09-10 847
文章目录激活函数sigmoidtanh 激活函数 激活函数是用来加入非线性因素的，因为线性模型的表达能力不够。引入非线性激活函数，可使深层神经网络的表达能力更加强大。 激活函数应满足： 非线性： 激活函数非线性时，多层神经网络可逼近所有函数。 可微性： 优化器大多用梯度下降更新参数。 单调性： 当激活函数是单调的，能保证单层网络的损失函数是凸函数。 近似恒等性：当参数初始化为随机小值时，神经网络更稳定。 激活函数输出值的范围： 激活函数输出为有限值时，基于梯度的优化方法更稳定 激活函数输出为无限值时，建
机器学习基础（五十六）—— tanh sign 与 softsign
hftytf的博客
02-10 552
机器学习基础（五十六）—— tanh sign 与 softsign
深度学习的激活函数 ：sigmoid、tanh、ReLU 、Leaky Relu、RReLU、softsign 、softplus、GELU
qq_38156104的博客
02-07 1181
激活函数可以分为两大类 饱和激活函数：sigmoid、 tanh 与Sigmoid/tanh函数相比，ReLu激活函数的优点是： 非饱和激活函数:ReLU 、Leaky Relu 、ELU【指数线性单元】、PReLU【参数化的ReLU 】、RReLU【随机ReLU】 （1）sigmoid 函数 (以前最常用) 参数 α> 0可控制其斜率。sigmoid 将一个实值输入压缩至[0,1]的范围,也可用于二分类的输出层。 （2）tanh (...
softsign激活函数
jacke121的专栏
11-12 2340
softsign激活函数 pytorch函数： a_tensor=torch.Tensor([[-1,2,30],[4,5,60],[7,8,9]]) aaaaa=F.softsign(a_tensor) print(a_tensor) class SoftSign(Activation): def __init__(self, x): super(SoftSign, self).__init__(x) def forward(s
Softsign Tanh 速度对比
人工智能
06-02 151
softsign vs tanh
神经网络中常用激活函数总结【Python实现激活函数与导函数，曲线可视化分析】
Together_CZ的博客
07-18 2271
神经网络中激活函数发挥着非常重要的作用，在处理简单的线性可分的数据集的时候我们不需要用到激活函数仅仅依靠线性分类器就可以解决问题，但是实际生活中的绝大多数的场景并不是这样简单的，那么简单的线性分类器就没有办法起到很好的效果了，此时常用的处理手段有两种： 1、借助于转化策略将低维空间线性不可分的数据映射到高维空间中，使得其变得线性可分，此时依旧可以基于线性分类器完成建模处理，例如：S...
机器学习基础（五十六）—— tanh、sign 与 softsign
04-24 1万+
tanh：hyperbolic functions；tanh(s)=exp(s)−exp(−s)exp(s)+exp(−s) \tanh(s)=\frac{\exp(s)-\exp(-s)}{\exp(s)+\exp(-s)} 可以看出，tanh\tanh 函数是对 sign\text{sign} 函数的逼近或者近似，是对 sign\text{sign} 的离散性而导致的难以优化的缺陷的弥补
深度学习的激活函数  ：sigmoid、tanh、ReLU 、Leaky Relu、RReLU、softsign 、softplus、GELU
热门推荐
冷月无声的博客
05-06 1万+
【 tensorflow中文文档：tensorflow 的激活函数有哪些】 激活函数可以分为两大类 ： 饱和激活函数：sigmoid、 tanh 非饱和激活函数:ReLU 、Leaky Relu 、ELU【指数线性单元】、PReLU【参数化的ReLU 】、RReLU【随机ReLU】 相对于饱和激活函数，使用“非饱和激活函数”的优势在于两点： 1.首先，“非饱和激活...
深度学习Deep Learning（03）：权重初始化问题1_Sigmoid\tanh\Softsign激励函数
莫失莫忘的博客
12-20 1万+
二、权重初始化问题1_Sigmoid\tanh\Softsign激励函数 github地址：https://github.com/lawlite19/DeepLearning_Python 1、说明 参考论文：http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf 或者查看这里，我放在github上了：https://github.
各种激活函数比较
06-10 857
除了下述三种激活函数，还有softmax、elu、softplus、softsign、relu、tanh、sigmoid、hard_sigmoid、linear1、sigmod函数  y值在【0，1】之间；2、tanh函数，y值在【-1，1】之间3、ReLu校正线性单元函数...
深度学习中激活函数的优缺点
麦峰强的博客
12-16 5448
在神经网络中，激活函数决定来自给定输入集的节点的输出，其中非线性激活函数允许网络复制复杂的非线性行为。 为什么要使用非线性激活函数？ 答：如果不使用激活函数，这种情况下每一层输出都是上一层输入的线性函数。无论神经网络有多少层，输出都是输入的线性函数，这样就和只有一个隐藏层的效果是一样的。这种情况相当于多层感知机(MLP)。 正如绝大多数神经网络借助某种形式的梯度下降进行优化，激活函数需要是可...
激活函数对比
kyle1314608的博客
05-31 77
https://blog.csdn.net/dcrmg/article/details/76222576
神经网络剖析激活函数优缺点（Undetanding the difficulty of training deep feedforward neural networks）
qq_38888209的博客
05-02 1201
摘要：在2006年以前，似乎深度多层的神经网络没有被成功训练过。自那以后少数几种算法显示成功地训练了它们，实验结果表明了深度多层的架构的优越性。所有这些实验结果都是通过新的初始化或训练机制获得的。我们的目标是更好地理解为什么随机初始化的标准梯度下降法在深度神经网络下表现如此糟糕，为了更好地理解最近的相对成功并帮助设计未来更好的算法。我们首先观察了非线性激活函数的影响。我们发现logistic si...
tensorflow softsign函数应用
weixin_30689307的博客
07-22 392
1、softsign函数 图像 2、tensorflow softsign应用 import tensorflow as tf input=tf.constant([0,-1,2,-30,30],dtype=tf.float32) output=tf.nn.softsign(input) with tf.Session() as sess: print('...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题：大白 设计师：CSDN官方博客 返回首页
评论 3

打赏作者

Takoony

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。

余额充值