深度学习入门~激活函数③

深度学习中的激活函数解析
最新推荐文章于 2025-02-26 16:05:14 发布
原创 最新推荐文章于 2025-02-26 16:05:14 发布 · 903 阅读 · 14 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络

本文介绍了神经网络中的激活函数，包括双曲正切函数tanh(x)和ReLU函数。tanh(x)优于sigmoid函数，因其函数图像过原点且收敛速度更快。ReLU函数在多数情况下成为默认选择，但在Z＜0时导数为0。非线性激活函数在神经网络中至关重要，线性激活仅适用于特定场景如线性回归。激活函数的导数在反向传播中起到关键作用。

神经网络的激活函数

双曲正切函数tanh(x)

  • 之前我们使用的神经网络，一直选择sigmoid函数作为激活函数，但实际上，激活函数可以是任何函数。
    在这里插入图片描述
    使用双曲正切函数，它的表现比sigmoid函数更好。
    tanh(x)函数公式：
    在这里插入图片描述
    函数曲线：介于(-1,1)，类似于sigmoid函数的平移版本。
    在这里插入图片描述
    使用tanh(x)的好处：
    ①函数图像过原点。（sigmoid函数的图像不过原点）
    ②收敛速度快于sigmoid函数。
  • 由于双曲正切函数介于(-1,1)之间，使用它作为激活函数好于sigmoid函数。因为使用它，激活函数的平均值更接近于0，让下一层的学习更方便。
  • 将双曲正切函数用于任何情况作为激活函数都是好的，除了将它用于输出层，因为如果y的真实值是二元分类的0或1，那么让y_hat介于0到1之间更为合理，此时使用sigmoid函数更合理。
  • sigmoid函数和tanh函数都有一个缺点，当Z很大或很小的时候，会使α十分接近1或-1，此时两个函数的斜率接近于0（以Logistic回归为例，改变参数W和b，Z的变化缓慢，导致y_hat - y的变化缓慢，降低梯度下降算法的速度），会降低梯度下降算法的速度。

R

最低0.47元/天 解锁文章
sigmoid、 tanh、 tanh、 tanh比较
YJ语
05-27 1408
由上篇文章，我们知道逻辑回归是怎么过渡到神经网络的了 总的来说就一句话——多个逻辑回归模型，前后堆积形成了神经网络！ 我引用吴承恩中的一张图，稍微的回顾以下这个过程 对于这张图，它的过程是这样的： 输入1个样本（含3个特征），分别到4个逻辑回归中（中间那一列的4个圈圈） 对于样本的输入，逻辑回归模型分别通过y = wx + b后将y值通过Sigmoid函数映射到01区间内，那么这里就有4个输出的01概率 对于上面输出的4个概率再输入到最后一个逻辑回归模型中，再通过y = wx + b后将y值通过Sigm
深度学习之激活函数的介绍和比较：sigmoid，tanh，relu，softmax
Yio_Eagle的博客
09-07 2265
本文参考自3个博客，整理合并而成。 1.https://blog.csdn.net/haxiongha/article/details/79404304 2.https://blog.csdn.net/u011684265/article/details/78039280 3.https://www.cnblogs.com/gezhuangzhuang/p/10583394.html 目录...
Tensorflow基础（四）--激活函数（Sigmoid、tanh）；损失函数（二次代价函数、交叉熵代价函数、对数释然代价函数）
star_of_science的博客
02-09 2395
目录1.激活函数1.1双曲正切函数与Sigmoid函数2.损失函数（代价函数）2.1 L1范数损失函数2.2 L2范数损失函数2.3 二次代价函数2.4 交叉熵代价函数2.5 对数释然代价函数(log-likelihood cost)3.演示代码 1.激活函数 激活函数的想法来自对人脑中神经元工作机理的分析。神经元在某个阈值（也称活化电位）之上会被激活。大多数情况下，激活函数还意在将输出限制在一个...
4种激活函数详解，学到即赚到！
Python数据之道
09-22 516
作者：奶糖猫来源：喵说Python这篇文章用来整理一下入门深度学习过程中接触到的四种激活函数，下面会从公式、代码以及图像三个方面介绍这几种激活函数，首先来明确一下是哪四种：S...
激活函数 （总结4）
一行一生
05-15 695
激活函数 1.1激活函数的作用 它主要被设置在每一层神经元之后，对神经元的输出做非线性变换。激活函数是实数到实数的映射，且几乎处处可导。没有激活函数，每层网络的变换都为线性变换，多层网络叠加的变换仍然是线性的，本质上与单层网络没有区别。从神经元的仿生学原理而言，神经元模仿的是生物神经...
深度学习入门：激活函数
07-04
在深度学习中，激活函数扮演着至关重要的角色。本文将深入探讨激活函数的概念、类型及其在深度学习中的应用。 激活函数是神经网络模型的心脏，它负责引入非线性特性，使得网络能够处理复杂的非线性关系。如果没有...
【深度学习入门】深度学习中的激活函数盘点
m0_51098495的博客
05-20 1301
在深度学习中，激活函数是神经网络中不可或缺的组成部分。它们引入了非线性，使得网络能够学习和模拟复杂的函数映射。选择合适的激活函数对模型的性能有着显著的影响。本文将介绍各种激活函数，包括传统的和最新的研究成果，并探讨它们的特性、适用场景以及如何在代码中实现它们。
深度学习入门 2：自制框架配套代码详解
最新发布
08-12
为了让初学者能够更好地理解和掌握深度学习的基本原理和实践操作，越来越多的教程和书籍开始涌现，其中就包括了《深度学习入门 2：自制框架配套代码详解》。 这本书籍的特点在于不仅提供了理论知识的讲述，还特别...
深度学习入门-基于Python的理论与实现(pdf+代码)
02-14
Python入门：介绍Python的基本语法和常用库，为后续的深度学习实践打下基础。 感知机：介绍感知机的基本概念和实现方法，以及感知机的局限性和多层感知机的概念。 神经网络：详细讲解神经网络的结构、激活函数、多维...
机器学习中的数学——激活函数（二）：双曲正切函数（Tanh函数）
热门推荐
冯·诺依曼
10-05 6万+
双曲正切函数是双曲函数的一种。双曲正切函数在数学语言上一般写作tanh⁡\tanhtanh。它解决了Sigmoid函数的不以0为中心输出问题，然而，梯度消失的问题和幂运算的问题仍然存在。 tanh⁡(x)=ex−e−xex+e−x\tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}tanh(x)=ex+e−xex−e−x​ tanh⁡\tanhtanh函数的图像： ...
常见的激活函数（Sigmoid，tanh双曲正切，ReLU修正线性单元，Leaky ReLU函数）
weixin_43918046的博客
07-29 5809
激活函数在神经元之间作为信息传递的隐射函数，是为了将我们神经元这样的线性模型进行非线性转换的重要存在，使得我们最终的神经网络模型才能够表达出强大的非线性数据拟合能力。 这里简单几种常见的激活函数。 一、Sigmoid函数 表达式为： 导函数为： sigmoid是神经网络中很入门的一种激活函数，在以前得到了广泛使用，但是随着后来的学习发展，发现sigmoid的收敛速度很慢，而且因为本身的表达式不能很好的将神经元之间的信息进行非线性隐射，所以在深层神经网络的隐层的各层神经元之间逐渐被ReLU取代，但是即便
比较双曲正切tanh与sigmoid激活函数的性能差异
staple
04-23 3410
制作一个二分类网络分类minst 0和3 (0,3)-n*m*2-(1,0)(0,1) 激活函数分别使用tanh和sigmoid，用交叉对比固定收敛标准多次测量取平均值的办法比较两个激活函数到底有什么差异。 数据1：tanh 每个收敛标准收敛199次，共25*199次 tanh ...
深度学习之常用激活函数
AndyJ的学习之旅
09-09 2044
引言 激活函数的目标是，将神经网络非线性化。激活函数是连续的且可导的。 连续的：当输入值发生较小的改变时，输出值也发生较小的改变； 可导的：在定义域中，每一处都是存在导数； 常见的激活函数：sigmoid，tanh，relu。 sigmoid sigmoid是平滑的阶梯函数，可导。sigmoid可以将任何值转换为0~1概率，用于二分类。 当使用sigmoid作为激活函数时，随着神经网络隐含层（hidden layer）层数的增加，训练误差反而加大。表现为： 靠近输出层的隐含层梯度较大，参数更新速度快，很
激活函数（sigmoid、tanh、ReLU、leaky ReLU）
m0_45267220的博客
01-16 3717
激活函数（sigmoid、tanh、ReLU、leaky ReLU）
激活函数篇 02 —— 双曲正切函数tanh
Software Engineer、Artificial Intelligent
02-08 1629
以下是激活函数系列的相关的所有内容:一文搞懂激活函数在神经网络中的关键作用逻辑回归：Sigmoid函数在分类问题中的应用tanh⁡(x)=ex−e−xex+e−x \tanh(x)=\frac{e^x - e^{-x}}{e^x + e^{-x}} tanh(x)=ex+e−xex−e−x​求导： ddxtanh⁡(x)=ddx(ex−e−xex+e−x) \frac{d}{dx} \tanh(x) = \frac{d}{dx} \left( \frac{e^x - e^{-x}}{e^x + e^{
激活函数：双曲正切函数 tanh(x)
sunshineTHU的博客
06-03 1万+
双曲正切函数等于双曲正弦与双曲余弦的比值，即tanh(x)=sinh(x)/cosh(x)=(e^(x)-e^(-x))/(e^x+e^(-x))，sinhx=(e^(x)-e^(-x))/2，coshx=(e^x+e^(-x))/2。定义域为(-∞，+∞)，值域为(-1，+1)双曲正切函数（tanh）与激活函数sigmoid非常接近，且与后者具有类似的优缺点。sigmoid和tanh的主要区别在...
激活函数及其各自的优缺点
laoliaixuexi的博客
09-24 3478
1.什么是激活函数？ 所谓激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。 激活函数对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如图，在神经元中，输入（inputs ）通过加权，求和后，还被作用在一个函数上，这个函数就是激活函数。 2.为什么要用激活函...
神经网络的各种激活函数的优缺点对比分析
zhan867791458的博客
03-25 2246
主要对比分析了神经网络各种激活函数的优缺点。
神经网络 - 激活函数（Sigmoid 型函数）
分享技术人生的学习笔记和过往心得，与志同道合者共同进步
02-26 4177
本文来学习神经网络中的激活函数之一 Sigmoid型函数，是指一类 S 型曲线函数，为两端饱和函数，常用的 Sigmoid 型函数有 Logistic 函数和 Tanh 函数。理解和掌握激活函数，对初学者构建良好的理论基础和实践能力，都非常重要。
深度学习入门：前馈神经网络原理与激活函数
前馈神经网络是深度学习的基础，通过非线性激活函数和反向传播机制，它能够学习并解决复杂的数据模式识别和预测任务。随着技术的发展，前馈神经网络已经演变为更复杂的结构，如卷积神经网络（CNN）和循环神经网络...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值