计算机视觉 | 面试题：06、ReLU函数在0处不可导，为什么在深度学习网络中还这么常用?

最新推荐文章于 2023-05-30 11:11:04 发布
最新推荐文章于 2023-05-30 11:11:04 发布
阅读量2.1k 收藏
点赞数 1
分类专栏： CV面试题 文章标签： 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mrrunsen/article/details/120190415
版权
ReLU函数在0处不可导，但在深度学习中广泛使用。为解决不可导问题，可以通过定义0处导数为0或使用ln(1+ex)近似。ReLU的优势包括简洁性、稀疏性、快速运算，以及对比sigmoid缓解梯度消失问题。然而，其可能导致神经元死亡，为此出现了Leaky ReLU等变体。
摘要由CSDN通过智能技术生成

问题

ReLU函数在0处不可导，为什么在深度学习网络中还这么常用?

问题背景

这是在阿里的机器学习岗一面的时候问的一个问题，最开始的问题是“为什么机器学习中解决回归问题的时候一般使用平方损失（即均方误差）？”。

当时我的回答是损失函数是是模型预测值与真实值之间的一种距离度量，我们可以计算出每个样本的预测值与真实值之间的距离，全部加起来就得到了所谓的损失函数。而距离的度量可以采用预测值与真实值之间差的绝对值，或者两者之差的平方，当然更高次的也行，只要你喜欢。正如问题所述，为什么我们一般使用的是两者之差的平方而不是两者只差的绝对值呢？其实这与模型的求解相关，举最简单的线性回归为例，如果采用的距离是两者之差的绝对值，那么求解的目标函数如下：
( ω ∗ ,

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Mrrunsen
关注
专栏目录
订阅专栏
【计算机视觉】ReLU函数在0处不可导，为什么还能用
热情、奔放、快乐编程！
01-11 902
另外还有一个方法是使用。
2025秋招计算机视觉面试题（九）-ReLU函数在0处不可导，为什么还能用
最新发布
weixin_41496173的博客
07-01 203
ReLU函数在0处不可导，为什么在深度学习网络中还这么常用?
07_ReLU函数在0处不可导，为什么还能用1
08-03
问题背景这是在阿的机器学习岗的时候问的个问题，最开始的问题是“为什么机器学习中解决回归问题的时候般使平损失（即均误差）？当时我的回答是损失函数是是模型预测值与真
07_ReLU函数在0处不可导，为什么还能用
JM的博客
05-30 1557
训练神经网络的时候，一旦学习率没有设置好，第一次更新权重的时候，输入是负值，那么这个含有ReLU的神经节点就会死亡，再也不会被激活。因为：ReLU的导数在x>0的时候是1，在x<=0的时候是0。如果x<=0，那么ReLU的输出是0，那么反向传播中梯度也是0，权重就不会被更新，导致神经元不再学习。其实我们可以人为提供一个伪梯度，例如给它定义在0处的导数为0，其实tensorflow在实现ReLU的时候也是定义ReLU在0处的导数为0的。来近似，这个函数是连续的，它在0点的导数是0.5。
relu不可微为什么可用于深度学习
ningyanggege的博客
09-07 7356
首先确定relu数学上来讲不可微的，提供伪梯度使其可分，faux gradient是伪梯度，使得在0值不可分； 这里讲到了本质，反馈神经网络正常工作需要的条件就是每一个点提供一个方向，即导数；0值不可微，本质上来说是因为这个地方可画多条切线，但我们需要的只是一条；由于这出现的0值的概率极低，任意选择一个子梯度就OK了，在0处的次微分集合是【0，1】；即选择其中一个就OK了；一般默认是0；...
百题突击13: 1，为什么必须在神经网络中引入非线性？ 2，ReLU在零点不可导，那么在反向传播中怎么处理？ 3，ReLU的优缺点 4，BN解决了什么问题 5，BN的实现流程
MrCharles在CSDN
04-26 1488
1，为什么必须在神经网络中引入非线性？ 2，ReLU在零点不可导，那么在反向传播中怎么处理？ 3，ReLU的优缺点 4，BN解决了什么问题 BN是由Google于2015年提出，这是一个深度神经网络训练的技巧，它不仅可以加快了模型的收敛速度，而且更重要的是在一定程度**缓解了深层网络中“梯度弥散”**的问题，从而使得训练深层网络模型更加容易和稳定。所以目前BN已经成为几乎所有卷积神经网络的标配技巧了。 从字面意思看来Batch Normalization（简称BN）就是对每一批数据进行归一化，确实如此
[链接] Relu非处处可导为什么可以作激活函数，激活函数的可导性要求
boooiaji的博客
01-16 2073
https://www.cnblogs.com/xueqiuqiu/articles/7606293.html https://blog.csdn.net/ningyanggege/article/details/82493023
计算机视觉 | 面试题：13、CNN网络各种层的FLOPs和参数量paras计算
Mrrunsen的博客
09-09 414
FLOPs 这里先注意一下FLOPs的写法，不要弄混了： FLOPS(全大写)：是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度，是一个衡量硬件性能的指标。 FLOPs(s小写)：，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量，可以用来衡量算法/模型的复杂度，也就是我们这里要讨论的。 标准卷积层的FLOPs 考虑bias：(2∗Cint∗k2)∗Cout∗H∗W(2*C_{int
计算机视觉 | 面试题：03、BN层的深入理解
Mrrunsen的博客
09-08 494
问题 BN在深度网络训练过程中是非常好用的trick，在笔试中也很常考，而之前只是大概知道它的作用，很多细节并不清楚，因此希望用这篇文章彻底解决揭开BN的面纱。 BN层的由来与概念 讲解BN之前，我们需要了解BN是怎么被提出的。在机器学习领域，数据分布是很重要的概念。如果训练集和测试集的分布很不相同，那么在训练集上训练好的模型，在测试集上应该不奏效（比如用ImageNet训练的分类网络去在灰度医学图像上finetune再测试，效果应该不好）。对于神经网络来说，如果每一层的数据分布都不一样，后一层的网络则需要
深度学习知识点全面总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 27万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
神经网络反向求导不可导情况处理
weixin_42720875的博客
05-05 3299
神经网络反向求导不可导情况处理激活函数不可导池化不可导针对平均池化：max池化 激活函数不可导 深度学习算法通常需要进行反向求导，来更新模型的参数，这就要求激活函数满足处处可导的性质，例如传统的sigmoid函数等。但是，为了解决梯度消失等问题提出的relu系列函数却不满足处处可导性质。 relu(x)=max(x,0) relu(x)=max(x,0) relu(x)=max(x,0) 针对这...
Relu浅谈
jiangjunlanzhoulan的博客
03-25 7249
relu主要的作用是：1，防止梯度弥散2，稀疏性3，加快计算首先我们看下sigmoid和relu的曲线然后可以得到sigmoid的导数以及relu的导数结论就是sigmoid的导数只有在0附近的时候有比较好的激活性，在正负饱和区的梯度都接近于0，所以这会造成梯度弥散，而relu函数在大于0的部分梯度为常数，所以不会产生梯度弥散现象。第二，relu函数在负半区的导数为0 ，所以一旦神经元激活值进入负...
2-7 神经网络基础-非线性、relu
记录与分享AI资料与学习过程
02-07 907
机器学习基础-神经网络-非线性、relu 1. 为什么必须在神经网络中引入非线性？ 2. ReLU在零点不可导，那么在反向传播中怎么处理？ 3. ReLU的优缺点 4. 激活函数有什么作用，常用的的激活函数有哪些？ 5. Softmax的原理是什么？有什么作用？
三、Pytorch多层感知机 （3月1日学习笔记）
Hongrui_Chang的博客
03-01 345
李沐《动手学深度学习》笔记（基于pytorch）三月一日3.8-多层感知机
[深度学习] 损失函数
四月晴
05-29 1万+
深度学习中损失函数是整个网络模型的“指挥棒”， 通过对预测样本和真实样本标记产生的误差反向传播指导网络参数学习。 分类任务的损失函数 假设某分类任务共有N个训练样本，针对网络最后分层第 i 个样本的输入特征为 XiXiX_i ，其对应的标记为YiYiY_i是最终的分类结果（C个分类结果中的一个），h=（h1,h2,...,hch1,h2,...,hch_1, h_2,...,h_c）为网络的最...
【深度学习】ReLU激活函数的缺点
u011754972的博客
08-11 1万+
训练的时候很”脆弱”，很容易就”die”了，训练过程该函数不适应较大梯度输入，因为在参数更新以后，ReLU的神经元不会再有激活的功能，导致梯度永远都是零。 例如，一个非常大的梯度流过一个 ReLU 神经元，更新过参数之后，这个神经元再也不会对任何数据有激活现象了，那么这个神经元的梯度就永远都会是 0. 如果 learning rate 很大，那么很有可能网络中的 40% 的神经元都”dead”了。...
ReLU上的花样
雨石
05-15 1万+
ReLU的有效性体现在两个方面： 克服梯度消失的问题 加快训练速度 而这两个方面是相辅相成的，因为克服了梯度消失问题，所以训练才会快。
深度学习笔记（4）——Sigmoid和Relu激活函数的对比
迷川浩浩的博客
03-20 2万+
Relu是一个非常优秀的激活哈数，相比较于传统的Sigmoid函数，有三个作用： 1. 防止梯度弥散 2. 稀疏激活性 3. 加快计算 首先我们看下sigmoid和relu的曲线 然后可以得到sigmoid的导数 以及relu的导数 结论就是sigmoid的导数只有在0附近的时候有比较好的激活性，在正负饱和区的梯度都接近于0，所以这会造成梯度弥散，而relu函数在
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Mrrunsen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值