46、激活函数 - Relu 激活

于 2023-12-31 19:25:55 发布
阅读量807 收藏 10
点赞数 8
分类专栏： CV视觉算法入门与调优 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dongtuoc/article/details/135318807
版权
ReLU，修正线性单元，是神经网络中常用的激活函数，因其非线性特性、计算效率高和缓解梯度消失问题而广泛应用。然而，ReLU也存在Dead ReLU问题，可能导致神经元无法激活，影响网络学习能力。
摘要由CSDN通过智能技术生成

本节介绍一个在神经网络中非常常见的激活函数 - Relu 激活函数。

什么是ReLU激活函数

ReLU 英文名为 Rectified Linear Unit，又称修正线性单元，是一种简单但很有效的激活函数，它的定义如下：

即当输入 x 大于零时，输出等于他自己；当输入小于等于零时，输出为零，下面是relu的图像表示。

看着是不是很简单，但是就是因为如此简单，才使得 Relu 激活在神经网络中非常常见。

为何ReLU激活函数如此常见？

ReLU之所以广泛应用，主要归功于以下几个方面：

  1. ReLU引入了非线性因素

了解本专栏 订阅专栏 解锁全文 超级会员免费看
董董灿是个攻城狮
关注
  • 8
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
激活函数总结（一）：ReLU及其变体
走在深度学习前沿的小宋
08-07 2063
本文介绍了一些常用的激活函数，包括：Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、 Swish等激活函数及其在当前激活函数众多的情况下使用的环境。总体而言：ReLU激活函数还是最常用的激活函数。
ReLu(Rectified Linear Units)激活函数
weixin_34167043的博客
04-24 1801
论文参考：Deep Sparse Rectifier Neural Networks (很有趣的一篇paper） 起源：传统激活函数、脑神经元激活频率研究、稀疏激活性 传统Sigmoid系激活函数 传统神经网络中最常用的两个激活函数，Sigmoid系（Logistic-Sigmoid、Tanh-Sigmoid）被视为神经网络的核心所在。 从数学上来看，非线性的Sigmoid函数对中央区...
ReLU激活函数：简单之美
热门推荐
对半独白
11-13 14万+
导语在深度神经网络中，通常使用一种叫修正线性单元(Rectified linear unit，ReLU）作为神经元的激活函数。
ReLU函数简介
xiaoxiang_AQ 的博客
09-20 4万+
打开一些神经网络的网络描述文件，可以看到不同的层，其中就有一种层的类型，叫做ReLU。今天正好有小伙伴问起，虽然是基础部分但是还是来总结一下吧。首先看网络结构描述的形式：layer { name: "conv1" type: "Convolution" bottom: "data" top: "conv1" param { lr_mult: 1 } param {
Relu函数
weixin_33595571的博客
10-29 1231
Relu函数 # coding: utf-8 import numpy as np import matplotlib.pylab as plt def relu(x): return np.maximum(0, x)#输入的数据中选择较大的输出 x = np.arange(-5.0, 5.0, 0.1)#起点，终点，步长 y = relu(x) plt.plot(x, y)#绘图 p...
ReLU函数
ML_amateur的博客
05-21 1万+
1.非线性激励函数 引入非线性函数作为激励函数，这样深层神经网络就有意义了，不再是输入的线性组合，可以逼近任意函数. 2.选择ReLU作为激活函数 Relu函数的定义是： Relu函数图像如下图所示： relu函数的作用就是增加了神经网络各层之间的非线性关系 ...
激活函数ReLU
August-us的博客
03-18 4万+
激活函数ReLUReLUPReLU(Parametric)E(Exponential)LU系列文章： ReLU   Relu(Rectified Linear Unit)函数也可谓是一个里程碑式的激活函数。我们之前已经谈到过sigmoid函数和tanh函数的缺点，我们接下来就看relu如何回避这些不利之处，同时又会带来什么新的问题。   先看relu的函数表达式，relu(x)=max(x,0)r...
激活函数之relu函数
weixin_45590490的博客
04-23 919
relu函数 ReLU （Rectified Linear Unit）函数。ReLU 函数在输入大于 0 时，直接输出该值；在输入小于等于 0 时，输出 0。 import matplotlib.pyplot as plt import numpy as np def relu(x): return np.maximum(0,x) if __name__ == '__main__': x = np.arange(-5, 5, 0.1) y = relu(x) plt
激活函数relu、leaky-relu、elu、selu、serlu比较
littlelanlan的博客
08-05 1万+
1.ReLU(Rectified Linear Unit) 函数形式： ReLU(x)={xx ≥ 00otherwise ReLU(x)=\left\{ \begin{array}{ll} x & \textrm{x $\ge$ 0}\\ 0 & \textrm{otherwise}\\ \end{array} \right. ReLU(x)=...
激活函数--1.ReLu（）函数
xianghu_5的博客
05-17 3140
ReLU()函数
ReLU激活函数杂谈
01-06
在实现多层感知机代码实现中使用了ReLU激活函数： ReLU(x)=max(x,0)ReLU(x)=max(x,0)ReLU(x)=max(x,0) 形状大概是这样的 这里根据几个问题来进行回答解释 为什么要使用激活函数呢？ 简单来说激活函数的作用就是将...
ReLU 函数
weixin_30319153的博客
07-31 317
线性整流函数（Rectified Linear Unit,ReLU），又称修正线性单元，是一种人工神经网络中常用的激活函数（activation function），通常指代以斜坡函数及其变种 为代表的非线性函数。 转载于:https://www.cnblogs.com/liuys635/p/11275269.html...
ReLU
BenjaminYoung29的博客
07-17 496
线性的函数，计算简单，收敛快，sparsely activated。 所谓sparsity是指模型sparsity。指模型更多的神经元是在处理有用的部分，舍弃无用的部分，所以比dense network工作更好，更快 但ReLU有个问题是dying ReLU。即如果一个神经元陷入了<0的部分，总是输出0，则这个神经元死了。这样的神经元没有用处，网络的一大部分都在无所事事。那为什么一开始这样的...
线性整流函数—ReLU函数
最新发布
huduokyou的博客
09-30 256
未来的研究和实践将进一步深化对于ReLU函数特性的理解，探索更加优秀的激活函数，推动人工智能技术的进步和应用的创新。图像处理：ReLU函数在图像处理任务中被用作卷积神经网络（CNN）的激活函数，能够提取出图像中的特征信息，并实现图像分类、目标检测、图像语义分割等任务。激活稀疏性：当输入值小于0时，ReLU函数的输出为0，这意味着ReLU函数可以激活稀疏性，即只激活输入中的一部分神经元，增强模型的泛化能力和鲁棒性。简单性：ReLU函数的定义非常简单，仅需比较输入值和0的大小即可确定输出值，因此计算效率高。
机器学习中的数学——激活函数（三）： 线性整流函数（ReLU函数）
冯·诺依曼
10-05 3万+
线性整流函数，又称修正线性单元ReLU，是一种人工神经网络中常用的激活函数，通常指代以斜坡函数及其变种为代表的非线性函数。 ReLU(x)=max⁡(0,x) ReLU(x)=\max{(0, x)}ReLU(x)=max(0,x) 线性整流函数（ReLU函数）的特点： 当输入为正时，不存在梯度饱和问题。 计算速度快得多。ReLU 函数中只存在线性关系，因此它的计算速度比Sigmoid函数和tanh函数更快。 Dead ReLU问题。当输入为负时，ReLU完全失效，在正向传播过程中，这不是问题。有些区域很
F-ReLU激活函数
07-28
F-ReLU激活函数是一种专用于视觉任务的激活函数，它是通过将ReLU和PReLU函数扩展为具有像素化建模能力的视觉参数化ReLU来实现的。F-ReLU的形式为y = max(x, T(x))，其中T(x)是一个简单高效的空间上下文特征提取器。通过引入可忽略的空间条件开销，F-ReLU能够改善图像视觉任务的性能，并显著提高激活空间的灵敏度。该激活函数在实现上非常简单，只增加了少量的计算开销。研究结果表明，F-ReLU在视觉识别任务上具有很大的改进和鲁棒性。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* [YOLOv5更换激活函数（FReLU+SE机制）](https://blog.csdn.net/qq_58355216/article/details/125080361)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [FReLU：简单高效的新型激活函数](https://blog.csdn.net/m0_63642362/article/details/126236829)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董董灿是个攻城狮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值