深度学习之激活函数——Tanh

最新推荐文章于 2025-03-24 11:37:07 发布
最新推荐文章于 2025-03-24 11:37:07 发布
阅读量5.9k 收藏 18
点赞数 6
分类专栏： Deep Learning 文章标签： 深度学习 人工智能 神经网络 pytorch python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61787307/article/details/138860739
版权

Tanh

双曲正切1函数(tanh)，其图像与sigmoid函数十分相近，相当于sigmoid函数的放大版。在实际的使用中，tanh函数要优先于sigmoid函数。

函数表达式

t a n h = e x − e − x e x + e − x tanh=\frac{e^x-e^{-x}}{e^x+e^{-x}} tanh=ex+e−xex−e−x​

其定义域为 R R R，值域为 ( − 1 , 1 ) (-1,1) (−1,1)

函数图像

请添加图片描述

函数特性

由于tanh激活函数与sigmoid激活函数十分相似，所以两者在特性方面有很多共同点

实际上，tanh激活函数相当于sigmoid函数的平移： t a n h ( x ) = 2 s i g m o i d ( 2 x ) − 2 tanh(x)=2sigmoid(2x)−2 tanh(x)=2sigmoid(2x)−2

优点：

  • 以0位对称中心，收敛速度快于sigmoid，提高了权重更新的效率

  • 部分解决了梯度消失的问题，因为其导数值更大

    tanh导数值与sigmoid导数值对比：

    请添加图片描述

    通过对比不难发现，tanh的导数值要远远大于sigmoid的导数值

缺点：
  • 与sigmoid一样，tanh函数具有容易饱和的特点，没有根治梯度消失的问题
    igmoid一样，tanh函数具有容易饱和的特点，没有根治梯度消失的问题
  • 计算复杂度较高，幂运算更加复杂
常用的激活函数（Sigmoid、Tanh、ReLU等）
Billie使劲学的博客
06-29 2万+
目录一、激活函数定义二、梯度消失与梯度爆炸 1.什么是梯度消失与梯度爆炸2.梯度消失的根本原因3.如何解决梯度消失与梯度爆炸问题 三、常用激活函数1.Sigmoid2.Tanh3.ReLU4.Leaky ReLU5.ELU6.softmax7.Swish 激活函数 (Activation functions) 对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到神经网络中。在下图中，输入的 inputs 通过加权，求和后，还被作用了一个函数f，这
Keras深度学习实战（4）——深度学习中常用激活函数和损失函数详解
盼小辉丶的博客
04-27 1万+
使用激活函数可以实现网络的高度非线性，这对于建模输入和输出之间的复杂关系非常关键，只有加入了非线性激活函数之后，深度神经网络才具备了令人惊异的非线性映射学习能力。 利用损失函数计算损失值，模型就可以通过反向传播去更新各个参数，通过降低真实值与预测值之间的损失，使得模型计算得到的预测值趋近于真实值，从而达到模型训练的目的。激活函数和损失函数是神经网络中十分重要的组件，本节介绍深度学习中常用的激活函数和损失函数。.........
激活函数（ReLU、sigmoid、tanh）的简单理解
01-20
ReLU函数 ReLU（rectified linear unit）函数提供了⼀个很简单的⾮线性变换。给定元素 ，该函数定义为： 可以看出，ReLU函数只保留正数元素，并将负数元素清零。函数图像如下图： 显然，当输⼊为负数时，ReLU函数的导数为0；当输⼊为正数时，ReLU函数的导数为1。尽管输⼊为0 时ReLU函数不可导，但是我们可以取此处的导数为0。绘制ReLU函数的导数图像： sigmoid函数 sigmoid函数可以将元素的值变换到0和1之间，函数定义： sigmoid函数在早期的神经⽹络中较为普遍，但它⽬前逐渐被更简单的ReLU函数取代。sigmoid函数接近线性变换： 对
一文搞懂激活函数和损失函数（PyTorch）
最新发布
m0_59163425的博客
03-24 1242
常见的激活函数有 Sigmoid、Tanh、ReLU 和 Leaky ReLU。）是什么？激活函数是神经网络中的非线性函数，用于在神经元之间引入非线性关系，从而使模型能够学习和表示复杂的数据模式。将输入值压缩到(0, 1)之间，常用于二分类问题的输出层。但存在梯度消失问题，且输出不以零为中心。
神经网络中的激活函数-tanh
yanqianglifei的专栏
06-13 4048
为什么要引入激活函数 如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了。 正因为上面的原因，我们决定引入非线性函数作为激励函数，这样深层神经网络就有意义了（不再...
Tanh激活函数详解
2401_86968005的博客
02-24 1141
tanh（双曲正切）激活函数是一种在神经网络中常用的非线性激活函数。它的主要作用是引入非线性因素，使得神经网络可以学习和模拟更复杂的函数关系。同时，tanh函数的输出范围在(-1, 1)之间，具有零均值特性，有助于模型的收敛。：(-1, 1)：关于原点对称的S型曲线tanhxexe−xex−e−x​。
【NLP 14、激活函数 ② tanh激活函数】
m0_73983707的博客
12-11 1393
tanh是双曲正切函数（Hyperbolic Tangent），数学表达式为其函数图像是一个S型曲线，以原点 (0，0) 为中心对称，定义域为(-∞，+∞)，值域是( - 1,1)。
tanh激活函数
zrh_CSDN的博客
07-31 1万+
tanh激活函数                         tanh也是一种非常常见的激活函数。与sigmoid相比，它的输出均值是0，使得其收敛速度要比sigmoid快，减少迭代次数。 然而，从图中可以看出，tanh和sigmoid一样具有软饱和性，从而造成梯度消失。 ...
激活函数Tanh
热门推荐
August-us的博客
03-18 10万+
激活函数Tanh系列文章：   Tanh的诞生比Sigmoid晚一些，sigmoid函数我们提到过有一个缺点就是输出不以0为中心，使得收敛变慢的问题。而Tanh则就是解决了这个问题。Tanh就是双曲正切函数。等于双曲余弦除双曲正弦。函数表达式和图像见下图。这个函数是一个奇函数。   对tanh函数求导需要一定的数学基础，这里直接给出结果。tanh′(x)=1−tanh2(x)tanh'(x)=...
激活函数——tanh函数（理解）
weixin_34009794的博客
10-25 4458
0 - 定义 　　$tanh$是双曲函数中的一个，$tanh()$为双曲正切。在数学中，双曲正切“$tanh$”是由基本双曲函数双曲正弦和双曲余弦推导而来。 $$tanhx=\frac{sinhx}{coshx}=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$ 　　其曲线如下图所示： 　　　　　　　　 1 - 导数 $$\begin{align*}tanh^{'}(x)...
2024-03-24 问AI:介绍一下深度学习中的tanh函数
baidu_24377669的博客
03-25 1671
tanh函数，全称双曲正切函数（hyperbolic tangent function），是深度学习中常用的一种激活函数。它的数学定义是：tanh(x) = (e^x - e^(-x)) / (e^x + e^(-x))，其中e代表自然对数的底。tanh函数的输出值被映射到-1和1之间。综上所述，tanh函数在深度学习中具有广泛的应用，尤其在需要解决非线性问题和减少梯度消失问题的场景中。然而，在使用时也需要注意其潜在的缺点，并结合具体任务选择合适的激活函数。
深度激活函数中的tanh.zip
01-03
本主题将深入探讨一种常用的激活函数——双曲正切函数（Tanh），以及如何使用Verilog语言进行硬件实现。 双曲正切函数（Tanh）是一个S型曲线，其数学定义为：f(x) = 2 / (1 + e^(-2x)) - 1。Tanh的输出范围在-1到1...
TensorFlow深度学习实战（3）——深度学习中常用激活函数详解
盼小辉丶的博客
01-02 1万+
激活函数是神经网络中至关重要的一部分，它决定了神经元的输出以及神经网络模型的非线性特性。没有激活函数，神经网络就会变成一个简单的线性模型，无法处理复杂的任务。因此，激活函数的选择直接影响神经网络的表达能力和学习效果。
1. 深度学习——激活函数
qq_32468785的博客
11-10 1230
激活函数是一种用于神经网络和其他机器学习模型中的非线性函数。它被应用于神经网络的每个神经元上，将输入信号进行转换，产生输出信号。激活函数的作用是引入非线性性质，使神经网络能够学习和表示更复杂的函数关系。在神经网络中，每个神经元接收来自上一层神经元的加权输入，然后通过激活函数对这个加权输入进行非线性变换，生成神经元的输出。这个输出被传递到下一层神经元作为输入。激活函数的主要作用有以下几点：引入非线性：激活函数能够将线性变换后的输入转换为非线性输出，使得神经网络具备非线性建模能力。
Keras深度学习实战——深度学习中常用激活函数和损失函数详解
走向CTO的路上...
05-22 1343
本教程将介绍 Keras 深度学习框架中常用的激活函数和损失函数。激活函数用于引入非线性特性，使得神经网络能够更好地学习和模拟复杂的输入输出关系；损失函数用于度量模型预测结果与真实值之间的差异，选择合适的损失函数对于模型的训练至关重要。Keras 深度学习框架提供了简单易用的工具来选择和使用激活函数和损失函数，这使得深度学习技术可以更加广泛地应用。
激活函数(sigmoid、tanh、ReLU、softmax)
tcn760的博客
04-07 10万+
文章目录1.1、sigmoid函数1.2、tanh函数1.3、ReLU函数1.4、softmax函数 激活函数在神经网络中的作用有很多，主要作用是给神经网络提供非线性建模能力。如果没有激活函数，那么再多层的神经网络也只能处理线性可分问题。常用的激活函数有sigmoid、tanh、relu、softmax等。 1.1、sigmoid函数 sigmoid函数将输入变换为(0,1)上的输出。它将范围(-inf,inf)中的任意输入压缩到区间(0,1)中的某个值： sigmoid(x)=11+exp(−x)sigm
激活函数——tanh函数
S6969S的博客
12-09 1088
激活函数——tanh函数
激活函数之tanh介绍及C++/PyTorch实现
网络资源是无限的
07-29 5672
深度神经网络中使用的激活函数有很多种，这里介绍下tanh。它的公式如下，截图来自于维基百科(https://en.wikipedia.org/wiki/Activation_function)： tanh又称双曲正切，它解决了sigmoid非零中心问题。tanh取值范围在(-1, 1)内，它也是非线性的。它也不能完全解决梯度消失问题。 C++实现如下： template<typename _Tp> int activation_function_t...
常见激活函数（Sigmoid、Tanh、Relu、Leaky Relu、Softmax）
weixin_44115575的博客
06-20 2万+
不同的激活函数有不同的输出范围，比如Sigmoid函数的输出在(0, 1)之间，Tanh函数的输出在(-1, 1)之间，ReLU函数的输出在[0, ∞)之间。在神经网络的基本结构中，每个神经元接收输入信号，对其进行加权求和后加上偏置项，然后将这个结果通过激活函数进行转换，得到神经元的输出。由于大多数实际问题都是非线性的，非线性激活函数使得神经网络能够拟合复杂的函数映射关系，从而解决非线性问题。：某些激活函数（如ReLU）具有计算效率高的优点，因为它们的计算只涉及到基本的算术操作，而不需要昂贵的指数运算。
深度学习中激活函数优缺点
03-20
### 不同激活函数在深度学习中的优缺点 #### Sigmoid 激活函数 Sigmoid 函数是一个经典的激活函数，其输出范围为 (0, 1)，能够将任意实数值映射到这个区间内。然而，它存在梯度消失的问题，在反向传播过程中可能导致训练困难。 - **优点**: 输出值被压缩至固定范围内，适合用于概率预测场景下的二分类问题[^1]。 - **缺点**: 当输入较大或较小时，导数接近于零，容易引发梯度消失现象；计算指数运算较为耗时[^2]。 #### Tanh 激活函数 Tanh 是另一个常用的激活函数，可以看作是 Sigmoid 的变体，输出范围为 (-1, 1)。相比 Sigmoid，它的均值更接近于零，有助于中心化数据分布。 - **优点**: 能够更好地处理负值输入，并且通常收敛速度比 Sigmoid 更快[^3]。 - **缺点**: 同样面临梯度消失问题，尤其是在极端输入条件下表现不佳。 #### ReLU (Rectified Linear Unit) 激活函数 ReLU 定义简单直观：f(x) = max(0, x)。它是目前许多神经网络架构中最受欢迎的选择之一。 - **优点**: 计算效率高，因为只需判断输入是否大于零即可完成前向传播；有效缓解了梯度消失问题，促进了深层网络的学习能力。 - **缺点**: 对于小于零的部分会完全抑制信号传递，可能造成部分神经元“死亡”，即永远不再响应任何输入。 #### Leaky ReLU 激活函数 为了克服标准 ReLU 存在的死区问题，提出了改进版本——Leaky ReLU。该方法允许少量负斜率通过，即使当输入为负时也有微弱反应。 - **优点**: 避免了传统 ReLU 中可能出现的大规模神经元失活情况，保留了一定程度上的非线性特性。 - **缺点**: 参数调整敏感性强，如果设置不当可能会引入额外噪声或者影响最终性能。 #### ReLU6 激活函数 这是专门为移动设备优化设计的一种特殊形式的ReLU ，主要用于轻量级模型如MobileNet系列中 。ReLU6 将最大输出限定为6而不是无限大。 - **优点**: 特别适用于资源受限环境下的高效实现，同时保持良好的表达力。 - **缺点**: 可能限制某些特定应用场景下潜在的表现上限，特别是在需要非常宽泛动态范围表示的任务里。 ```python import numpy as np def sigmoid(x): return 1 / (1 + np.exp(-x)) def tanh(x): return np.tanh(x) def relu(x): return np.maximum(0, x) def leaky_relu(x, alpha=0.01): return np.where(x >= 0, x, alpha * x) def relu6(x): return np.minimum(np.maximum(0, x), 6) ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值