激活函数非零为中心的影响

最新推荐文章于 2024-06-18 17:00:00 发布

伯纳乌的小草

最新推荐文章于 2024-06-18 17:00:00 发布

阅读量922

点赞数 4

文章标签：深度学习神经网络

原文链接：https://liam.page/2018/04/17/zero-centered-active-function/

版权

最近在学邱锡鹏老师的《神经网络与深度学习》，学到激活函数这里后，邱老师写道：ReLU 函数的输出是非零中心化的，给后一层的神经网络引入偏置偏移，会影响梯度下降的效率。

引入偏置偏移我懂，但为什么会影响梯度下降的效率呢？

找了很多的资料描述地都不太好，但是发现了这位博主写的文章，感觉很清楚，故分享：

在这里插入图片描述

转自：谈谈激活函数以零为中心的问题

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

伯纳乌的小草

关注关注

4
点赞
踩
11

收藏

觉得还不错? 一键收藏
0
评论
激活函数非零为中心的影响

激活函数非零为中心
复制链接

扫一扫

神经元

北漂人家

06-30

4890

人工神经元（Artificial Neuron），简称神经元（Neuron），是构成神经网络的基本单元，其主要是模拟生物神经元的结构和特性，接受一组输入信号并产出输出。一个生物神经元通常具有多个树突和一条轴突。树突用来接受信息，轴突用来发送信息。当神经元所获得的输入信号的积累超过某个阈值时，它就处于兴奋状态，产生电脉冲。轴突尾端有许多末梢可以给其他个...

深度学习学习笔记

MAZHENJAING的博客

11-13

2936

人工智能的主要领域： 1.感知，模拟人的感知能力。语音信息和计算机视觉 2.学习，模拟人的学习能力。监督学习，无监督学习和强化学习 3认知，模拟人的认知能力。自然语言理解，规划，决策人工智能的发展历史： 1.推理期：1956年达特茅斯会议 2.知识期：主要是专家系统 3.学习期：从数据中学习，利用率学习到的规律对数据进行预测。即机器学习。人工智能流派： 1.符号主义：信息用符...

参与评论您还未登录，请先登录后发表或查看评论

梯度下降算法之随机梯度下降

最新发布

绎岚科技的博客

06-18

1048

梯度下降是搜索目标函数的最优值（最小值/最大值）的迭代优化过程。它是机器学习项目中最常用的改变模型参数以降低成本函数的方法之一。 梯度下降的主要目标是识别在训练和测试数据集上提供最大精度的模型参数。在梯度下降中，梯度是指向函数在特定点最陡上升的一般方向的向量。通过在梯度的相反方向上移动，算法可以逐渐向函数的较低值下降，直到达到函数的最小值。

【基础】01基本概念的梳理

Enchanted to meet U

08-02

766

记录最简单的一些概念，帮助后续学习理解 神经网络的传播都是形如Y=WX+b的矩阵运算；为了给矩阵运算加入非线性，需要在隐藏层中加入激活层；输出层结果需要经过Softmax层处理为概率值，并通过交叉熵损失来量化当前网络的优劣。下面是一些概念： 1.神经元它是神经网络的基本单位。它获得一定数量的输入和一个偏置值。当信号（值）到达时会乘以一个权值。如果神经元有4个输入，那么就有4个权值，权重可以在训练时调整。 2.连接将一个神经元连接到另一层或同一层的另一个神经元。连接伴随着与之相关联的权值。.

机器学习—非零中心化、非零中心化会带来的问题

xinxin的博客

09-18

697

众所周知，激活函数最好具有关于零点对称的特性，不关于零点对称会导致收敛变慢。这种说法看到几次了，但对于背后的原因却一直比较模糊，今天就来捋一捋。

【深度学习】5-从计算图直观认识“激活函数不以零为中心导致收敛变慢”

成长之路

08-21

1615

关于激活函数以零为中心问题的较直观解释，并于参数值全相同的问题做了对比。

《神经网络与深度学习》笔记——前馈神经网络

2401_82969502的博客

02-14

427

缺点：ReLU函数的输出是非零中心化的，最后一层的神经元输入引入了偏置偏移，影响梯度下降的效率；ReLU神经元训练时容易“死亡”，即如果参数在第一次不恰当的更新之后，第一个隐藏层中的某个ReLU神经元在所有的训练数据上不能被激活，这个神经元自身参数的梯度永远都是0，在以后的训练过程中永不能被激活，称为“死亡ReLU问题”。各神经元分别属于不同的层，每一层神经元接收前一层神经元的信号输出到下一层：输入层-隐藏层-输出层。Tanh函数的输出是零中心化的，Logistic函数的输出恒大于0。

《神经网络与深度学习》第二部分 (一)

Leslie Lee's blog includes programming in math, physics, and engineering.

08-01

962

4 前馈神经网络 4.1神经元 z = trans(w)x+b MP神经元 f(z)取0或1，该激活函数为指示函数取其他激活函数就构成其他神经元 激活函数其他种类： sigmoid型(logistic函数、tanh函数、hard-logistic函数、hard-tanh函数) ReLU型(ReLU函数、带泄露的ReLU、带参数的ReLU、ELU函数、Softplus函数) Swish函数 GELU单元 Maxout单元偏置偏移： Tanh 函数的输出是零中心化的（Zero-Centered），而

深度激活函数中的tanh.zip

01-03

Tanh的输出范围在-1到1之间，相对于sigmoid激活函数，它的中心对称性使其在某些任务中表现更优，特别是在二分类问题和隐藏层的训练过程中。Tanh的零均值特性使得神经元的输出更容易进行平均，简化了后续计算。在...

用matlab画激活函数代码

12-07

在深度学习领域，激活函数是神经网络模型中的关键组成部分，它们为神经元引入了非线性，使得模型能够处理复杂的输入-输出关系。本篇将详细介绍如何使用MATLAB来绘制三种常用的激活函数：Sigmoid、ReLU（Rectified ...

Pytorch中的激活函数

01-20

需要注意的是，虽然非线性激活函数通常是必要的，但在某些特定场景下，如线性回归问题，线性激活函数也可能是合适的。在实践中，尝试不同的激活函数并观察模型在训练和验证数据上的表现，可以帮助确定最合适的激活...

神经网络中各种激活函数的Python实现

11-22

在神经网络领域，激活函数是模型中至关重要的组成部分，它们为神经元引入非线性，从而使网络能够学习复杂的模式和关系。本资源专注于各种激活函数的Python实现，并提供了可视化工具，便于理解这些函数的特性。这里...

tensorflow自定义激活函数实例

12-20

在深度学习领域，激活函数是神经网络模型中的关键组成部分，它们负责为神经元引入非线性，使得模型能够处理复杂的数据分布。TensorFlow 是一个强大的深度学习框架，它提供了多种预定义的激活函数，如 ReLU ...

激活函数

卖火柴的小男孩

08-09

296

Sigmoid函数特征：范围[-1,1],历史上很受欢迎。缺点：容易产生梯度消失的问题。输出不是以0为中心。容易产生锯齿现象。指数计算量大。 tanh函数特点：将数字加到范围[-1,1] 以零为中心（不错）饱和时仍然会杀死梯度（因为tanh求导后，在饱和时梯度近似为0）指数计算量大 ReLU（修正线性单元）

激活函数意义，什么样的函数可以作为激活函数，设计激活函数时需要考虑什么，常见激活函数及其优缺点和应用场景——从感知机到神经网络

weixin_44097477的博客

04-09

5879

激活函数意义，什么样的函数可以作为激活函数，设计激活函数时需要考虑什么，常见激活函数及其优缺点和应用场景，——从感知机到神经网络

深度学习问题2 超参数、激活函数、batch-size

weixin_44177594的博客

03-26

967

问题1.什么是超参数？有哪些深度学习模型中的超参数？2.什么是激活函数？有什么要使用非线性激活函数？3.sigmod-logistic函数的优缺点4.logistic 和 tanh函数的对比和优缺点5.relu的优缺点6.batch_size的概念和值的选择？ 1.什么是超参数？有哪些深度学习模型中的超参数？ 2.什么是激活函数？有什么要使用非线性激活函数？ 3.sigmod-logistic函数的优缺点 4.logistic 和 tanh函数的对比和优缺点 5.relu的优缺点 6.batch_size的

常用激活函数的比较、激活函数非0中心导致的问题

thequitesunshine007的博客

01-05

168

（神经网络：激活函数非0中心导致的问题）

深度学习(一)~常见激活函数

布拉拉巴卜拉的博客

06-11

726

深度学习（一）~常见激活函数常见激活函数1. Sigmoid型函数1. Logistic函数2. Tanh函数3. Hard-Logistic函数和Hard-Tanh函数2. ReLU函数(1). Leaky ReLU(2). 带参数的ReLU(即PReLU)(3). ELU函数(4). Softplus函数3. Swish函数4. GELU函数5. Maxout单元常见激活函数 为了增强网络的表示能力和学习能力，激活函数须具备以下性质： (1) 连续并可导(允许少数点不可导)的非线性函数。可导的激活函数

常用激活函数介绍

qq_36608036的博客

02-02

735

sigmod函数函数公式和图表如下图 sigmod函数公式 sigmod函数图在sigmod函数中我们可以看到，其输出是在(0,1)这个开区间内，这点很有意思，可以联想到概率，但是严格意义上讲，不要当成概率。sigmod函数曾经是比较流行的，它可以想象成一个神经元的放电率，在中间斜率比较大的地方是神经元的敏感区，在两边斜率很平缓的地方是神经元的抑制区。当然，流行也是曾经流行，这说明函数本身是有一定的缺陷的。当输入稍微远离了坐标原点，函数的梯度就变得很小了，几乎为零。在神经网络反向传播的过.