relu不可微为什么可用于深度学习

最新推荐文章于 2024-07-09 23:15:27 发布
最新推荐文章于 2024-07-09 23:15:27 发布
阅读量7.2k 收藏 12
点赞数 7
分类专栏： ml
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ningyanggege/article/details/82493023
版权

首先确定relu数学上来讲不可微的，提供伪梯度使其可分，faux gradient是伪梯度，使得在0值不可分；

这里讲到了本质，反馈神经网络正常工作需要的条件就是每一个点提供一个方向，即导数；0值不可微，本质上来说是因为这个地方可画多条切线，但我们需要的只是一条；由于这出现的0值的概率极低，任意选择一个子梯度就OK了，在0处的次微分集合是【0，1】；即选择其中一个就OK了；一般默认是0；

Takoony
关注
专栏目录
计算机视觉 | 面试题：06、ReLU函数在0处不可导，为什么在深度学习网络中还这么常用?
Mrrunsen的博客
09-08 2102
问题 ReLU函数在0处不可导，为什么在深度学习网络中还这么常用? 问题背景 这是在阿里的机器学习岗一面的时候问的一个问题，最开始的问题是“为什么机器学习中解决回归问题的时候一般使用平方损失（即均方误差）？”。 当时我的回答是损失函数是是模型预测值与真实值之间的一种距离度量，我们可以计算出每个样本的预测值与真实值之间的距离，全部加起来就得到了所谓的损失函数。而距离的度量可以采用预测值与真实值之间差的绝对值，或者两者之差的平方，当然更高次的也行，只要你喜欢。正如问题所述，为什么我们一般使用的是两者之差的平方而
AIGC实战——深度学习 (Deep Learning, DL)
盼小辉丶的博客
10-25 5万+
深度学习 (Deep Learning, DL) 是贯穿所有生成模型 (Generative Model) 的共同特征，几乎所有复杂的生成模型都以深度神经网络为核心，深度神经网络能够学习数据结构中的复杂关系，而不需要预先提取数据特征。在本节中，我们将介绍深度学习基本概念，并利用 Keras 构建深度神经网络。
周志华教授：关于深度学习的一点思考
人工智能学家
11-24 364
来源：专知1 引言深度学习已被广泛应用到涉及图像、视频、语音等的诸多任务中并取得巨大成功。如 果我们问“深度学习是什么？”很可能会得到这样的回答：“深度学习就是深度神经网 络”。至少在目...
一文掌握ReLU激活函数：深度学习中不可或缺的神器
最新发布
weixin_42132035的博客
07-09 3452
ReLU，全称为修正线性单元(Rectified Linear Unit)，在深度学习领域中，是一种非常普遍且重要的激活函数，在众多神经网络模型中广泛应用。ReLU激活函数的实现非常简单，其数学表达式为： [ \text{ReLU}(x) = \max(0, x) ] 这意味着如果输入x为正，ReLU函数的输出就是x本身；如果输入x为负或者为0，ReLU函数的输出就是0。简单来说，ReLU函数就是一个线性和非线性特征的融合。
“深度学习已死，可微编程万岁！”LeCun老师为何又语出惊人？
量子位
01-06 7788
夏乙 编译整理量子位 出品 | 公众号 QbitAIDeep Learning est mort. Vive Differentiable Programming!这句英法混合的话，翻译成汉语，就是“深度学习已死，可微分编程万岁”。说这话的，正是深度学习三巨头之一：Yann LeCun。纳尼？无论是上个月Ali Rahimi的“炼金术说”，还是前些天Gary Marcus对深度学习的质疑，LeCu
深度学习基础--不同网络种类--可微分编程；Differentiable Programming
wydbyxr的博客
11-11 2801
可微分编程；Differentiable Programming   lecun说"深度学习已死，可微分编程万岁！",即深度学习这个词已死，该有新的名词可微分编程来替代它了。   深度学习的本质是可微分编程，那么，就把神经网络当函数用吧！   一个程序本身当成一个神经网络，然后自己调节参数。实现真正的可微分编程需要的就是自动化调参，于是乎，贝叶斯方法开始大量用于深度学习。 传统编程方法与可微分编程...
关于离散图像与深度学习模型可微的一些思考
qq_38385468的博客
09-19 175
就好像大家下意识会想到Loss需要可微不然无法反传一样，Loss只是整个神经网络的一环，是其中的一个可微的函数，包括经典MLP中的仿射变换以及CNN中的卷积操作，事实上都只是一个线性/非线性可微/连续函数，整个网络是一个线性/非线性映射f(·)，网络的可微应该指的是抛开输入(我们取到的离散图像)后由所有神经元以及Loss所组成的函数f是可微的。我们说，图像是一个连续分布的采样，比较贴切的理解来说，就类似在一个一维实数域R上取了一个数，只不过此时所取的数来自R^{MxN}。
深度学习基础知识
Java_college的博客
10-11 602
导读：人工智能时代已经到来，AlohaGO的击败李世石成为了围棋界的神话，让许多人震惊不已。那么AlphaGo是怎么产出的呢?它是源自于人工智能的深度学习。 这是小编的其他文章,希望对大家有所帮助,点击即可阅读 人工智能常用的十大算法 人工智能数学基础（二）十大经典算法（图像处理） 为了方便大家学习交流，我建了一个扣裙：966367816（学习交流、大牛答疑、大厂内推） 另外我还整理了整整200G的人工智能学习笔记、课程视频、面试宝典一并可以无套路免费 分享给大家！扫描文末二维码加V免...
PyTorch深度学习实战（3）——使用PyTorch构建神经网络
盼小辉丶的博客
06-13 6万+
PyTorch 是一个用于构建深度神经网络的库，具有灵活性和可扩展性，可以轻松自定义模型。在本节中，我们将使用 PyTorch 库构建神经网络，利用张量对象操作和梯度值计算更新网络权重，并利用 Sequential 类简化网络构建过程，最后还介绍了如何使用 save、load 方法保存和加载模型，以节省模型训练时间。
Keras深度学习实战（2）——使用Keras构建神经网络
热门推荐
盼小辉丶的博客
04-20 6万+
Keras 是用 Python 编写的高级神经网络 API，它的核心思想在于实现快速实验，该库提供了很多实用工具，可以简化构建复杂神经网络的过程。在本节中，我们将使用 Keras 库构建神经网络，感受 Keras 快速模型构建的特性。.........
PyTorch深度学习实战（1）——神经网络与模型训练过程详解
盼小辉丶的博客
05-28 6万+
在本节中，我们将了解传统机器学习与人工神经网络间的差异，并了解如何在实现前向传播之前连接网络的各个层，以计算与网络当前权重对应的损失值；实现反向传播以优化权重达到最小化损失值的目标。并将实现网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降，从零开始构建并训练了一个简单的神经网络。
07_ReLU函数在0处不可导，为什么还能用
JM的博客
05-30 1378
训练神经网络的时候，一旦学习率没有设置好，第一次更新权重的时候，输入是负值，那么这个含有ReLU的神经节点就会死亡，再也不会被激活。因为：ReLU的导数在x>0的时候是1，在x<=0的时候是0。如果x<=0，那么ReLU的输出是0，那么反向传播中梯度也是0，权重就不会被更新，导致神经元不再学习。其实我们可以人为提供一个伪梯度，例如给它定义在0处的导数为0，其实tensorflow在实现ReLU的时候也是定义ReLU在0处的导数为0的。来近似，这个函数是连续的，它在0点的导数是0.5。
神经网络反向求导不可导情况处理
weixin_42720875的博客
05-05 3261
神经网络反向求导不可导情况处理激活函数不可导池化不可导针对平均池化：max池化 激活函数不可导 深度学习算法通常需要进行反向求导，来更新模型的参数，这就要求激活函数满足处处可导的性质，例如传统的sigmoid函数等。但是，为了解决梯度消失等问题提出的relu系列函数却不满足处处可导性质。 relu(x)=max(x,0) relu(x)=max(x,0) relu(x)=max(x,0) 针对这...
三、Pytorch多层感知机 （3月1日学习笔记）
Hongrui_Chang的博客
03-01 326
李沐《动手学深度学习》笔记（基于pytorch）三月一日3.8-多层感知机
2-7 神经网络基础-非线性、relu
记录与分享AI资料与学习过程
02-07 879
机器学习基础-神经网络-非线性、relu 1. 为什么必须在神经网络中引入非线性？ 2. ReLU在零点不可导，那么在反向传播中怎么处理？ 3. ReLU的优缺点 4. 激活函数有什么作用，常用的的激活函数有哪些？ 5. Softmax的原理是什么？有什么作用？
【基础知识】第三章：激活函数
私はいつも好きです樱岛麻衣的博客
10-26 322
一：激活函数的基本原理 如果神经网络中只有卷积层，从数学的角度上讲，卷积是通过参数的矩阵乘法来实现的，给特征乘再多的矩阵，都改变不了纯卷积的运算是一个线性操作的本质。y=ABCD....Zx，x和y仍然是线性关系。从函数拟合的角度来看，线性函数的拟合能力就非常差劲，与神经网络能够拟合任何复杂的函数的远大理想不符。   激活函数的作用就是给神经网络带来非线性的特征，负责把线性函数给掰弯，这样神经网络拟合出来的函数也能适应复杂函数起伏，拟合的更好。 ...
神经网路的优化（1）----激活函数：梯度消失问题、ReLU、Maxout
liupc的学习笔记
04-16 995
一、sigmoid函数会导致梯度消失问题 点击此处返回总目录 二、ReLU激活函数 三、Maxout network 刚才我们说，在deep learning的rec...
为什么ReLU在神经网络中是最普遍的激活函数？
gonganDV的博客
07-29 1621
激活函数通常需要3个属性： 1.非线性-这是激活函数的关键属性。 得益于该神经网络，可用于解决非线性问题。 2.连续可微–这意味着我们具有连续的一阶导数。 这是实现基于梯度的优化方法的理想属性。 可连续微分的激活函数对于基于梯度的优化方法没有任何问题。 3.单调–它有助于神经网络更轻松地收敛为更精确的模型。 ReLU是非线性和单调的。 但这不是连续可微的。 其他激活函数（如Sigmoid和tanh）具有这3个属性。 那么，为什么ReLU如此受欢迎（以及为什么如此出色）？ 要找到答案，只需将典型.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值