Tanh激活函数比Sigmoid优点在哪

最新推荐文章于 2024-05-15 15:43:40 发布
最新推荐文章于 2024-05-15 15:43:40 发布
阅读量1.3w 收藏 6
点赞数 2
分类专栏： 深度学习 文章标签： 激活函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011576009/article/details/80950088
版权

Sigmoid函数：

Tanh函数：

优势：Tanh函数是0均值的更加有利于提高训练效率，由于Sigmoid输出是在0-1之间，总是正数，在训练过程中参数的梯度值为同一符号，这样更新的时候容易出现zigzag现象，不容易到达最优值。具体推导详见知乎：https://www.zhihu.com/question/50396271?from=profile_question_card

Saber-alter
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
常用激活函数比较
aliceyangxi1987的博客
05-01 7242
本文结构： 什么是激活函数 为什么要用 都有什么 sigmoid ，ReLU， softmax 的比较 如何选择 1. 什么是激活函数如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。2. 为什么要用如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。 如果使用
[小白系列]sigmoid和tanh激活函数的绘制(分开画，合起来画，总有一款适合你），逐行代码详解
12-21
def sigmoid(x): return 1.0/(1.0+np.exp(-x)) def tanh(x): return (np.exp(x) - np.exp(-x))/(np.exp(x)+np.exp(-x)) x = np.linspace(-8,8) fig = plt.figure(figsize = (12,4)) ax1 = plt.subplot(12
吴恩达深度学习笔记（二）——浅层神经网络
weixin_45719141的博客
08-16 1372
吴恩达学习笔记，包括个人认为重要的知识点以及课后作业。
【深度学习基础】01激活函数：Sigmoid、Tanh、ReLU、Softmax系列及对应的变体
ShiTianlei的博客
09-29 3654
神经网络中的激活函数总结
神经网络中的激活函数——tanh函数
Seu_Jason的博客
05-15 2508
本文介绍了tanh函数
为什么隐含层激活函数使用tanh比sigmoid更好
tqh267的博客
05-14 4301
为什么隐含层激活函数使用tanh比sigmoid更好比较tanh和sigmoid函数原因怎么选择激活函数 比较tanh和sigmoid函数 tanh函数的取值范围在[-1,+1]之间 sigmoid函数取值范围在[0,1]之间 原因 我们知道，sigmoid，tanh他们都是数值越是靠近正无穷或者负无穷，对应的梯度越小，参数更新也就越慢，因此我们总是希望输入接近0，这样可以使得梯度更大，参数更新越快。在实际应用中，使|z|尽可能限定在零值附近，从而提高梯度下降算法运算速度。 因此，普遍情况下，tanh比
激活函数
shajie的博客
08-26 316
为什么tanh比Sigmoid收敛更快？ 1.左为Sigmoid： Sigmoid是常用的非线性激活函数，他的数学形式如下： 这里写图片描述 它能够把输入的连续实值”压缩“到0-1之间。 特别的，如果是非常大的负数，那么输出就是0；如果是非常大的正数，输出就是1. Sigmoid 函数曾经被使用的很多，但现在，用它的人越来越少了。主要是因为它的一些 缺点： （1）Sigmoids saturate...
激活函数（ReLU、sigmoid、tanh）的简单理解
01-20
ReLU函数 ReLU（rectified linear unit）函数提供了⼀个很简单的⾮线性变换。给定元素 ，该函数定义为...sigmoid函数在早期的神经⽹络中较为普遍，但它⽬前逐渐被更简单的ReLU函数取代。sigmoid函数接近线性变换： 对
深度激活函数中的tanh.zip
01-03
在Verilog中设计Tanh激活函数，我们需要考虑如何高效地实现这个非线性变换。Verilog是一种硬件描述语言，用于描述数字系统的结构和行为。在设计硬件电路时，我们需考虑到面积、速度和功耗这三要素的平衡。对于Tanh...
神经网络最全激活函数，包括sigmoid，tanh，
最新发布
06-23
这些激活函数在实际应用中各有优劣，选择哪种激活函数通常取决于具体任务的需求和网络结构。例如，对于深度学习模型，ReLU及其变种如ELU和PReLU通常表现更佳；而对于二分类问题，Sigmoid和Tanh可能更为合适。在实践...
常见激活函数excel图
08-07
常见激活函数的图，用excel画的，有图有数据，高清缩放不变形，论文必备，包括Sigmoid、Tanh、ReLU、LeakyReLU
比较双曲正切tanh与sigmoid激活函数的性能差异
staple
04-23 3134
制作一个二分类网络分类minst 0和3 (0,3)-n*m*2-(1,0)(0,1) 激活函数分别使用tanh和sigmoid，用交叉对比固定收敛标准多次测量取平均值的办法比较两个激活函数到底有什么差异。 数据1：tanh 每个收敛标准收敛199次，共25*199次 tanh ...
激活函数汇总及各优缺点
WGS.
08-23 5108
激活函数汇总及各优缺点 文章目录激活函数汇总及各优缺点1. 什么是激活函数2. 激活函数作用3.激活函数特性4.常用激活函数4.1 sigmoid4.2 tanh4.3 ReLU，P-ReLU, Leaky-ReLU4.8 softmax函数softmax函数和sigmoid异同 1. 什么是激活函数 如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 2. 激活函数作用 如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输
sigmoid、Relu、Tanh、softmax激活函数的比较, 以及交叉熵损失函数
dabingsun的博客
03-06 3345
sigmoid
【机器学习】激活函数
sword_csdn的博客
10-19 1018
目录sigmoid函数tanh函数ReLU函数Softmax激活函数设计需要考虑的因素非线性连续可微性有界性单调性平滑性 sigmoid函数 sigmoid函数的值域是(0,1)，在远离中心点的位置，斜率会接近于0。随着反向传播层数的增多（大概是5层），会出现“梯度消失”的现象。也可以称作“失去敏感性”，“处于饱和状态”。 tanh函数 tanh函数取值在(-1,1)之间，跟sigmoid函数有相同的问题，就是在远离中心点的地方斜率接近于0，会出现“梯度消失”现象。但是tanh在训练过程的效率比si
非饱和激活函数ReLu为什么比饱和激活函数sigmoid、tanh好
qq_45583898的博客
07-02 2263
sigmoid和tanh是“饱和激活函数”，而ReLU及其变体则是“非饱和激活函数”。使用“非饱和激活函数”的优势在于两点：（1）“非饱和激活函数”能解决所谓的“梯度消失”问题。（2）能加快收敛速度。sigmoid将实值输出压缩在[0,1]范围内；tanh函数将实值输出压缩在[-1, 1]的范围。sigmoid函数在历史上曾非常常用，输出值范围为[0, 1]之间的实数。但是现在它已经不太受欢迎了，实际中很少使用。原因如下：（1）sigmoid函数饱和使梯度消失(sigmoidsaturate and kil
激活函数的优缺点和选择
Leiroy的博客
04-12 1804
激活函数： 意义：增加网络的非线性建模能力，如果没有激活函数，那么该网络仅能够表达线性映射，即便有再多的隐藏层，其整个网络跟单层神经网络也是等价 需要具备的特点：1.连续可导。2，尽可能简单，提高网络计算效率。3，值域在合适区间内，否则影响训练效率和稳定性。 饱和激活函数：Sigmoid、Tanh。非饱和激活函数：ReLu。还有输出层(分类器)的softmax 激活函数的选择：在隐藏层ReLu>Tanh>Sigmoid 。RNN中：Tanh，Sigmoid。输出层：softmax
14.为什么LSTM模型中存在sigmoid与tanh两种激活函数，而不是选择一种
程序员养成日记
03-29 6715
二者目的不一样。 sigmoid用在了各种gate上，产生0~1之间的值，这个使用sigmoid最直接，相当于要么是1则记住要么是0则忘掉。tanh用在了状态和输出上，是对数据的处理，这个也可以用其他激活函数。 ...
常用激活函数：Sigmoid、Tanh、Relu、Leaky Relu、ELU优缺点总结
热门推荐
Joejwu的博客
06-18 1万+
1、激活函数的作用 什么是激活函数？ 　　在神经网络中，输入经过权值加权计算并求和之后，需要经过一个函数的作用，这个函数就是激活函数（Activation Function）。 激活函数的作用？ 　　首先我们需要知道，如果在神经网络中不引入激活函数，那么在该网络中，每一层的输出都是上一层输入的线性函数，无论最终的神经网络有多少层，输出都是输入的线性组合；其一般也只能应用于线性分类问题中，例如非常典型的多层感知机。若想在非线性的问题中继续发挥神经网络的优势，则此时就需要通过添加激活函数来对每一层的输出
ReLU激活函数和sigmoid或tanh相比较的优势
03-31
1. 解决梯度消失问题：在深度神经网络中，sigmoid和tanh函数在输入非常大或非常小的情况下，梯度会变得非常小，导致梯度消失现象。而ReLU函数在输入大于0时梯度恒定为1，因此更不容易出现梯度消失问题。 2. 计算速度快：ReLU函数的计算速度非常快，因为它只涉及简单的比较运算和取最大值运算，而sigmoid和tanh函数涉及指数运算，计算量较大。 3. 更好的收敛性：ReLU函数可以使神经网络更快地收敛，因为它在负数部分输出为0，只有正数部分有梯度，可以减少梯度下降算法的震荡和时间。 4. 更好的表示能力：ReLU函数在负数部分输出为0，只有正数部分有输出，因此可以更好地表示数据的稀疏性和非线性特征。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值