微软推出提点神器动态ReLU，可能是最好的ReLU改进

最新推荐文章于 2024-04-10 21:07:08 发布
最新推荐文章于 2024-04-10 21:07:08 发布
阅读量2.8k 收藏 7
点赞数
文章标签： 算法 深度学习 人工智能 计算机视觉 神经网络

作者 | Vincent  

来源 | 晓飞的算法工程笔记 

简介

ReLU是深度学习中很重要的里程碑，简单但强大，能够极大地提升神经网络的性能。目前也有很多ReLU的改进版，比如Leaky ReLU和 PReLU，而这些改进版和原版的最终参数都是固定的。所以论文自然而然地想到，如果能够根据输入特征来调整ReLU的参数可能会更好。

图1

基于上面的想法，论文提出了动态ReLU(DY-ReLU)。如图1所示，DY-ReLU是一个分段函数 ，参数由超函数 根据输入 得到。超函数 综合输入的各维度上下文来自适应激活函数 ，能够在带来少量额外计算的情况下，显著地提高网络的表达能力。另外，论文提供了三种形态的DY-ReLU，在空间位置和维度上有不同的共享机制。不同形态的DY-ReLU适用于不同的任务，论文也通过实验验证，DY-ReLU在关键点识别和图像分类上均有不错的提升。

Definition and Implementation of Dynamic ReLU

Definition

定义原版的ReLU为 ， 为输入向量，对于输入的 维特征 ，激活值计算为 。ReLU可统一表示为分段线性函数，论文基于这个分段函数扩展出动态ReLU，基于所有的输入 自适应 , ：

因子 为超函数 的输出：

  为函数数量， 为维度数，激活参数 不仅与 相关，也与 相关。

Implementation of hyper function

论文采用类似与SE模块的轻量级网络进行超函数的实现，对于大小为 的输入 ，首先使用全局平均池化进行压缩，然后使用两个全连接层(中间包含ReLU)进行处理，最后接一个归一化层将结果约束在-1和1之间，归一化层使用 ， 为Sigmoid函数。子网共输出 个元素，分别对应 和 的残差，最终的输出为初始值和残差之和：

  和 为 和 的初始值， 和 是用来控制残差大小的标量。对于 的情况，默认参数为 ， ，即为原版ReLU，标量默认为 ， 。

Relation to Prior Work

表1  

DY-ReLU的可能性很大，表1展示了DY-ReLU与原版ReLU以及其变种的关系。在学习到特定的参数后，DY-ReLU可等价于ReLU、LeakyReLU以及PReLU。而当K=1，偏置时，则等价于SE模块。另外DY-ReLU也可以是一个动态且高效的Maxout算子，相当于将Maxout的K个卷积转换为K个动态的线性变化，然后同样地输出最大值。

Variations of Dynamic ReLU

论文提供了三种形态的DY-ReLU，在空间位置和维度上有不同的共享机制：

DY-ReLU-A

空间位置和维度均共享(spatial and channel-shared)，计算如图2a所示，仅需输出 个参数，计算最简单，表达能力也最弱。

DY-ReLU-B

仅空间位置共享(spatial-shared and channel-wise)，计算如图2b所示，输出 个参数。

DY-ReLU-C

空间位置和维度均不共享(spatial and channel-wise)，每个维度的每个元素都有对应的激活函数。虽然表达能力很强，但需要输出的参数( )太多了，像前面那要直接用全连接层输出会带来过多的额外计算。为此论文进行了改进，计算如图2c所示，将空间位置分解到另一个attention分支，最后将维度参数 乘以空间位置attention 。attention的计算简单地使用 卷积和归一化方法，归一化使用了带约束的softmax函数：

  用于将attention平均，论文设为 ， 为温度，训练前期设较大的值(10)用于防止attention过于稀疏。

Experimental Results

图像分类对比实验

关键点识别对比实验

与ReLU在ImageNet上进行多方面对比

与其它激活函数进行实验对比

可视化DY-ReLU在不同block的输入输出以及斜率变化，可看出其动态性。


结论

论文提出了动态ReLU，能够根据输入动态地调整对应的分段激活函数，与ReLU及其变种对比，仅需额外的少量计算即可带来大幅的性能提升，能无缝嵌入到当前的主流模型中。前面有提到一篇APReLU，也是做动态ReLU，子网结构十分相似，但DY-ReLU由于 的存在，可能性和效果比APReLU更大。

论文: Dynamic ReLU

  • 论文地址：

    https://arxiv.org/abs/2003.10027

  • 论文代码：

    https://github.com/Islanna/DynamicReLU

更多精彩推荐
AI科技大本营
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Pytorch：relu改进和GPU
weixin_62637793的博客
11-18 1269
因为relu函数虽然消除了x过大时的梯度弥散现象，但是在x<0时，梯度仍为0，并且在x=0时，出现不连续的点。所以我们对relu函数进行了改进。 首先，我们我们引进 LeakyRelu函数 LeakyRelu函数，在x<0时，增加了一个梯度，一半默认为0.02 在程序中使用时，直接将relu换为LeakyRelu即可。 对于在x=0处不连续的现象，我们引入了selu函数 selu函数通过两个函数构造出来的，消除了不连续。 还有softplus函数同样消除了不连续的问...
DynamicReLU:动态ReLU在Pytorch上的实现
03-19
动态ReLU 在Pytorch上实现 。 例子 import torch.nn as nn from dyrelu import DyReluB class Model(nn.Module): def __init__(self): super(Model, self).__init__() self.conv1 = nn.Conv2d(3, 10, 5) self.relu = DyReLUB(10, conv_type='2d') def forward(self, x): x = self.conv1(x) x = self.relu(x) return x
【机器学习300问】66、ReLU激活函数相对于Sigmoid和Tanh激活函数的优点是什么？ReLU它有局限性吗？如何改进？
最新发布
qq_39780701的博客
04-10 1580
ReLU激活函数相对于Sigmoid和Tanh激活函数的优点是什么？ReLU它有局限性吗？如何改进？
ReLU上的花样
雨石
05-15 1万+
ReLU的有效性体现在两个方面： 克服梯度消失的问题 加快训练速度 而这两个方面是相辅相成的，因为克服了梯度消失问题，所以训练才会快。
Dynamic ReLU 解读
weixin_42565571的博客
03-24 3435
论文地址：https://arxiv.org/pdf/2003.10027.pdf 这是Microsoft团队2020年发表的文章，提出动态relu激活函数称之为DY-RELU，比普通的relu函数效果好。 简介：以前的relu不论是有参数的还是没用参数的都是静态的，本文提出动态relu，其参数（一个机能增强函数）由所有输入元素决定，其关键原理是DY-RELU编码全局上下文信息到它的机能增强函...
PyTorch之nn.ReLU与F.ReLU的区别介绍
09-16
然而，如果在网络中使用了`F.ReLU`，并且在训练过程中需要保存和恢复模型状态，那么`F.ReLU`可能会导致问题，因为它不会保存任何内部状态。 关于`in-place operation`，在PyTorch中，这种操作直接修改张量的内存，...
ReLU激活函数杂谈
01-06
在实现多层感知机代码实现中使用了ReLU激活函数： ReLU(x)=max(x,0)ReLU(x)=max(x,0)ReLU(x)=max(x,0) 形状大概是这样的 这里根据几个问题来进行回答解释 为什么要使用激活函数呢？ 简单来说激活函数的作用就是将...
pytorch方法测试——激活函数(ReLU)详解
12-23
**PyTorch中的激活函数ReLU详解** 在深度学习领域，激活函数是神经网络的重要组成部分，它们引入非线性，使得神经网络能够学习更复杂的模式。ReLU（Rectified Linear Unit）是最常用的激活函数之一，因其简单高效而...
在Tensorflow中实现leakyRelu操作详解(高效)
09-16
然而，ReLU在处理负值时可能会导致“死亡神经元”问题，即大量神经元可能永久地设置为0，导致梯度消失，从而影响网络的学习效果。 Leaky ReLU是ReLU的一个变种，由Maas等人在2013年的论文中提出，目的是解决死亡...
【哈工大团队】动态ReLU：自适应参数化ReLU及Keras代码（调参记录12）
chengyouzhen的博客
05-26 638
本文介绍哈工大团队提出的一种Dynamic ReLU激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。 本文在调参记录10的基础上，在数据增强部分添加了zoom_range = 0.2，将训练迭代次数增加到5000个epoch，批量大小改成了625，测试自.
DyReLU-master_动态激活函数_
10-04
动态激活函数，与传统的Mish激活函数还有静态激活函数比较，动态激活函数较灵活
【哈工大团队】动态ReLU：自适应参数化ReLU及Keras代码（调参记录13）
chengyouzhen的博客
05-26 473
本文介绍哈工大团队提出的一种动态ReLU（Dynamic ReLU）激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。 从以往的调参结果来看，过拟合是最主要的问题。本文在调参记录12的基础上，将层数减少，减到9个残差模块，再试一次。 自适应参数化ReLU激.
【哈工大团队】动态ReLU：自适应参数化ReLU及Keras代码（调参记录14）
chengyouzhen的博客
05-26 905
本文介绍哈工大团队提出的一种动态ReLU（Dynamic ReLU）激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。 续上一篇： 【哈工大团队】动态ReLU：自适应参数化ReLU及Keras代码（调参记录13） 这次再尝试解决过拟合，把残差模块的数量减少.
input自适应_一种Dynamic ReLU：自适应参数化ReLU激活函数（调参记录10）
weixin_39607474的博客
12-01 112
自适应参数化ReLU是一种动态ReLU（Dynamic ReLU）。该论文在2019年5月投稿到IEEE的期刊，2020年1月录用，2020年2月在IEEE官网公布。本文在调参记录9的基础上，在数据增强部分添加了shear_range = 30，测试自适应参数化ReLU在Cifar10图像集上的效果。Keras里ImageDataGenerator的用法见如下网址：https://fairyoni...
Dynamic ReLU——微软提出的动态relu激活函数
import_torch_as_tf
04-25 5214
论文地址：https://arxiv.org/pdf/2003.10027.pdf 摘要 ReLU是深度神经网络中常用的激活函数。到目前为止，ReLU及其推广（非参数或参数）都是静态的，对所有的输入样本执行相同的操作。在本文中，我们提出了Dynamic ReLU激活函数（DY-ReLU），它的参数依赖于所有输入。其关键在于DY-ReLU将全局上下文编码为超函数，并相应地调整分段线性激活函数。与...
input自适应_一种动态ReLU：自适应参数化ReLU激活函数（调参记录17）
weixin_39663602的博客
12-01 125
自适应参数化ReLU，是一种动态ReLU（Dynamic ReLU），在2019年5月投稿至IEEE Trans. on Industrial Electronics，2020年1月录用，2020年2月在IEEE网站发布。在调参记录16的基础上，增加两个残差块，继续测试其在Cifar10上的效果。自适应参数化ReLU的原理如下：自适应参数化ReLU：一种动态ReLU（Dynamic ReLU）Ke...
【哈工大版】动态ReLU：自适应参数化ReLU及Keras代码（调参记录9）
chengyouzhen的博客
05-26 714
本文介绍哈工大团队提出的一种Dynamic ReLU激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。 本文在调参记录6的基础上，继续调整超参数，测试Adaptively Parametric ReLU（APReLU）激活函数在Cifar10图像集上的效果.
【哈工大版】动态ReLU：自适应参数化ReLU及Keras代码（调参记录11）
chengyouzhen的博客
05-26 444
本文介绍哈工大团队提出的一种动态ReLU（Dynamic ReLU）激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。 本文在调参记录10的基础上，将残差模块的数量从27个增加到60个，测试采用自适应参数化ReLU（APReLU）激活函数的深度残差网络，在.
【哈工大版】动态ReLU：自适应参数化ReLU及Keras代码（调参记录10）
热门推荐
chengyouzhen的博客
05-26 2万+
本文介绍哈工大团队提出的一种Dynamic ReLU激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。 本文在调参记录9的基础上，在数据增强部分添加了shear_range = 30，测试Adaptively Parametric ReLU（APReLU）.
leaky relu激活函数
05-09
Leaky ReLU（Leaky Rectified Linear Unit）函数是在传统ReLU函数的基础上进行改进的一种激活函数。它与ReLU的主要区别在于，当输入x<=0时，Leaky ReLU函数会产生一个极小的斜率而不是像ReLU一样输出0，这个斜率一般设为0.01，可认为是一个缓解梯度消失问题的方式。 相比于ReLU函数，Leaky ReLU函数能够进一步避免由于输入小于0而产生的死亡ReLU现象，同时使得网络拟合能力得到提升。此外，Leaky ReLU函数也能够有效地减轻梯度消失的情况，让深度卷积神经网络得以更好地进行训练。 Leaky ReLU函数的数学表达式是： f(x) = max(x, 0.01x) 其中，当x>0时，输出为x，当x<=0时，输出为0.01x。 需要注意的是，对于输入数据存在负数的情况下，使用Leaky ReLU函数可能会对分类精度产生影响。此时，可以使用其他的激活函数，如PReLU函数、ELU函数或者Swish函数等。 总结来说，Leaky ReLU函数是一种优化版的ReLU激活函数，能够在深度卷积神经网络的训练过程中缓解梯度消失问题，提高网络拟合能力，在许多场景下都能够取得更好的效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值