激活函数总结（十三）：Tanh系列激活函数补充(LeCun Tanh、TanhExp)

最新推荐文章于 2024-03-13 11:28:32 发布
最新推荐文章于 2024-03-13 11:28:32 发布
阅读量761 收藏 2
点赞数 2
分类专栏： 深度学习 文章标签： 机器学习 python 激活函数 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36758270/article/details/132349732
版权
本文介绍了两种不常见的激活函数——LeCun Tanh和TanhExp。LeCun Tanh由Yann LeCun提出，缓解了双曲正切的梯度爆炸问题，但可能存在梯度消失问题。TanhExp是平滑激活函数，加速了网络训练，具有线性变换特性，但在深度网络中的应用尚有限。
摘要由CSDN通过智能技术生成

激活函数总结（十三）：Tanh系列激活函数补充

1 引言

在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identi

了解本专栏 订阅专栏 解锁全文 超级会员免费看
sjx_alo
关注
专栏目录
订阅专栏
史上最全激活函数总结篇（持续更新ing......）
走在深度学习前沿的小宋
09-27 7501
激活函数系列中提及到的激活函数包括：Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logs
【DL经典回顾】激活函数大汇总（三十二）（LeCun Tanh附代码和详细公式）
最新发布
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-20 581
LeCun Tanh激活函数是由Yann LeCun在研究神经网络权重初始化方法时提出的，旨在改善网络的训练效率和收敛速度。本博客重点介绍这个激活函数。
ReLTanh激活函数(自适应激活函数)
weixin_38190702的博客
06-29 639
ReLTanh激活函数简介
论文阅读+代价函数+激活函数
u012197749的博客
04-02 3684
=================第一部分 代价函数====================代价函数=损失函数    在机器学习中的每一种算法中，训练模型的过程就是优化代价函数的过程。代价函数对每个参数的偏导数就是梯度下降中提到的梯度，防止过拟合时添加的正则化项也是加在代价函数后面的。一、什么是代价函数假设有训练样本(x, y)，模型h，参数θ。h(θ) = θTx（θT表示θ的转置）。（1）概况...
【Pytorch神经网络理论篇】 07 激活函数+Sigmoid+tanh+ReLU+Swish+Mish+GELU
小李的研究生学习日记
03-03 8074
①激活函数：主要通过加入非线性因素，你不线性模型表达能力不足的缺陷，因为神经网络中的数学基础是处处可微分的函数，故要求激活函数也应该保证数据的输入与输出是可微分。 ②激活函数可以分为饱和激活函数与不饱和激活函数，激活函数的右饱和指当x xx趋向于正无穷时，函数的导数趋近于0。同样的，当x xx趋向于负无穷时，函数的导数趋近于0，此时称为左饱和。当一个函数既满足右饱和，又满足左饱和，则称为饱和函数，否则称为非饱和函数。 1 Sigmoid函数 对于分类任务来说，如果仅仅给出分类的结果，在某些场景下.
python 画sigmoid、tanh、relu和ELU等激活函数
weixin_41803339的博客
03-20 3455
1、前言 写毕业论文时候画了激活函数的函数图，也是参考别人的代码做的，我将格式统一了一些，现在分享出来。 2、代码 2.1 sigmoid和tanh import math import matplotlib.pyplot as plt import numpy as np import matplotlib as mpl mpl.rcParams['axe...
激活函数总结（十六）：激活函数补充(SReLU、BReLU)
走在深度学习前沿的小宋
08-22 669
本文为前面介绍的激活函数进行了一些激活函数补充，包括：SReLU、BReLU等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：当前两种函数均不怎么使用，但是会在特殊情况下产生不错的效果。。。。
【DL经典回顾】激活函数大汇总（一）（Sigmoid & Tanh & ReLU & Leaky ReLU & PReLU附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-13 1406
欢迎来到我们深入探索神经网络核心组成部分——激活函数的系列博客。鉴于激活函数的重要性和多样性，我们将通过几篇文章的形式，每篇详细介绍五种激活函数，旨在帮助读者深入了解各种激活函数的特点、应用场景及其对模型性能的影响。
激活函数总结
weixin_49717022的博客
07-17 2240
一、引入激活函数的目的 图1：带一层隐藏层的神经网络 先看一个只含一层隐藏层的神经网络，如图1所示。输入为 n 条样本X，隐藏层H的权重和偏置分别为W_h，b_o，输出层O的权重和偏置分别为W_o，b_o。输出层的计算为： H=XW_h+b_h (1) O=HW_o+b_o (2) 将(1),(2)联合起来可得： O=(XW_h+b_h)W_o+b_o=XW_hW_o+b_hW_o+b_o 从(3)可以看出，虽然加入了隐藏层，但是还是等效于单层的神经网络：权重为 W_hW_o ，偏置为 b_hW_o+b_
激活函数Tanh
热门推荐
August-us的博客
03-18 9万+
激活函数Tanh系列文章：   Tanh的诞生比Sigmoid晚一些，sigmoid函数我们提到过有一个缺点就是输出不以0为中心，使得收敛变慢的问题。而Tanh则就是解决了这个问题。Tanh就是双曲正切函数。等于双曲余弦除双曲正弦。函数表达式和图像见下图。这个函数是一个奇函数。   对tanh函数求导需要一定的数学基础，这里直接给出结果。tanh′(x)=1−tanh2(x)tanh'(x)=...
深度学习——激活函数Sigmoid/Tanh/ReLU
zchang81的博客
04-18 8万+
一般情况下，使用ReLU会比较好 1、使用 ReLU，就要注意设置 learning rate，不要让网络训练过程中出现很多 “dead” 神经元； 2、如果“dead”无法解决，可以尝试 Leaky ReLU、PReLU 、RReLU等Relu变体来替代ReLU； 3、不建议使用 sigmoid，如果一定要使用，也可以用 tanh来替代。
Sigmoid、Relu、Tanh激活函数
zhuiyuanzhongjia的博客
06-05 4万+
转自https://blog.csdn.net/u013146742/article/details/51986575和https://www.cnblogs.com/makefile/p/activation-function.html激活函数形式：其中θθ为我们之前提到的神经元的激活阈值，函数f(⋅)f(·)也被称为是激活函数Sigmoid函数定义1+sigmoid 函数曾经被使用的很多，不过...
激活函数-Sigmoid,Tanh,ReLu,softplus,softmax
Suan2014的博客
08-14 3万+
PS:在学习深度学习的搭建时，用到不同的激活函数，因此查阅了这些函数，转自：http://blog.csdn.net/qrlhl/article/details/60883604#t2，对其中我认为有误的地方进行了一点修正。   不管是传统的神经网络模型还是时下热门的深度学习，我们都可以在其中看到激活函数的影子。所谓激活函数，就是在神经网络的神经元上 运行的函数，负责将神经元的输入映射到输出...
机器学习中的数学——激活函数（二）：双曲正切函数（Tanh函数）
冯·诺依曼
10-05 4万+
双曲正切函数是双曲函数的一种。双曲正切函数在数学语言上一般写作tanh⁡\tanhtanh。它解决了Sigmoid函数的不以0为中心输出问题，然而，梯度消失的问题和幂运算的问题仍然存在。 tanh⁡(x)=ex−e−xex+e−x\tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}tanh(x)=ex+e−xex−e−x​ tanh⁡\tanhtanh函数的图像： ...
激活函数之tanh
baidu_15113429的博客
05-10 1万+
1.tanh函数的公式 tanhx = (e^(x)-e^(-x)) /(e^x+e^(-x)) 2.tanh函数的图形
神经网络中的激活函数-tanh
leadai的博客
06-23 3万+
七月 上海  | 高性能计算之GPU CUDA培训7月27-29日三天密集式学习  快速带你入门阅读全文>正文共817个字，3张图，预计阅读时间8分钟。为什么要引入...
激活函数之tanh介绍及C++/PyTorch实现
网络资源是无限的
07-29 5280
深度神经网络中使用的激活函数有很多种，这里介绍下tanh。它的公式如下，截图来自于维基百科(https://en.wikipedia.org/wiki/Activation_function)： tanh又称双曲正切，它解决了sigmoid非零中心问题。tanh取值范围在(-1, 1)内，它也是非线性的。它也不能完全解决梯度消失问题。 C++实现如下： template<typename _Tp> int activation_function_t...
hidden1 = Bidirectional(LSTM(int(neure1), return_sequences=True, activation='tanh', recurrent_activation='sigmoid', kernel_initializer='lecun_normal'))(inputdep)
06-06
这是一个使用Keras框架实现的双向LSTM层，其中包含一个输入层(inputdep)...该层使用tanh激活函数和sigmoid循环激活函数，并使用lecun_normal初始化器对内核进行初始化。最后，该层的输出被保存在名为hidden1的变量中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sjx_alo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值