DynamicReLU

最新推荐文章于 2023-04-13 19:35:39 发布
最新推荐文章于 2023-04-13 19:35:39 发布
阅读量315 收藏 2
点赞数
分类专栏： AI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Carlsummer/article/details/119730645
版权

论文

该文是MSRA的研究员在DynamicConv之后，又一次在激活函数方面的改进。相比静态激活函数，动态激活函数可以将MobileNetV2的性能由72.0%提升到76.2%代价仅是增加额外的5%FLOPS。从这个角度来看，这个代价还是非常值得的。

  • 辅助函数：它用于计算激活函数的参数；
  • 激活函数:它用于计算输入的激活输出，它的参数通过上述辅助函数生成。

需要注意的是：辅助函数对输入进行上下文信息编码并用于辅助后续激活函数。这种数据依赖性使得所提DyReLU可以极大的提升模型的表达能能力，尤其适用于轻量型网络。

代码：https://github.com/carlsummer/python_developer_tools/blob/main/python_developer_tools/cv/bases/activates/DynamicReLU.py

demo：https://github.com/carlsummer/python_developer_tools/blob/main/python_developer_tools/cv/bases/activates/DynamicReLUdemo.py

 参考：https://zhuanlan.zhihu.com/p/142650829

 

AI大魔王
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
论文阅读 Dynamic ReLU
12-08 80
论文提出了动态线性修正单元（Dynamic Relu，下文简称 DY-ReLU），它能够依据输入动态调整对应分段函数，与 ReLU 及其静态变种相比，仅仅需要增加一些可以忽略不计的参数就可以带来大幅的性能提升，它可以无缝嵌入已有的主流模型中，在轻量级模型（如 MobileNetV2）上效果更加明显。论文地址论文源码ReLU 在深度学习的发展中地位举足轻重，它简单而且高效，极大地提高了深度网络的性能，被很多 CV 任务的经典网络使用。
DyReLU-master_动态激活函数_
10-04
动态激活函数，与传统的Mish激活函数还有静态激活函数比较，动态激活函数较灵活
Dynamic ReLU——微软提出的动态relu激活函数
import_torch_as_tf
04-25 5218
论文地址：https://arxiv.org/pdf/2003.10027.pdf 摘要 ReLU是深度神经网络中常用的激活函数。到目前为止，ReLU及其推广（非参数或参数）都是静态的，对所有的输入样本执行相同的操作。在本文中，我们提出了Dynamic ReLU激活函数（DY-ReLU），它的参数依赖于所有输入。其关键在于DY-ReLU将全局上下文编码为超函数，并相应地调整分段线性激活函数。与...
【哈工大版】Dynamic ReLU：自适应参数化ReLU基本原理
chengyouzhen的博客
05-27 840
本文介绍哈工大团队提出的一种动态ReLU（Dynamic ReLU）激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。 本文在综述传统静态激活函数和注意力机制的基础上，解读了一种注意力机制下的动态激活函数，即自适应参数化修正线性单元（Adaptively .
Dynamic ReLU: 与输入相关的动态激活函数
m0_63642362的博客
04-13 210
整流线性单元(ReLU)是深度神经网络中常用的单元。到目前为止，ReLU及其推广（非参数或参数）是静态的，对所有输入样本都执行相同的操作。本文提出了一种动态整流器DY-ReLU，它的参数由所有输入元素的超函数产生。DY-ReLU的关键观点是将全局上下文编码为超函数，并相应地调整分段线性激活函数。与静态神经网络相比，DY-ReLU的额外计算量可以忽略不计，但表示能力显著提高，特别是对于轻量级神经网络。
【论文复现】Dynamic ReLU（2020）
qq_38253797的博客
07-22 1301
目录前言一、背景或动机二、Dynamic ReLU2.1、定义Dynamic ReLU2.2、实现超函数 θ(x)\theta(x)θ(x)2.3、Dynamic ReLU的三个版本三、论文实验结果四、PyTorch实现Reference 前言 论文地址： https://arxiv.org/pdf/2003.10027.pdf. 源码地址： https://github.com/Islanna/DynamicReLU. 贡献：提出Dynamic ReLU激活函数 Dy-ReLU特点（优点）： 将所有输入
DynamicReLU:动态ReLU在Pytorch上的实现
03-19
动态ReLU在Pytorch上实现 。例子import torch.nn as nnfrom dyrelu import DyReluBclass Model(nn.Module): def __init__(self): super(Model, self).__init__() self.conv1 = nn.Conv2d(3, 10, 5) self.relu = ...
PytorchNetHub:项目注释+论文复现+算法竞赛
05-14
DynamicReLU 人脸识别 Semi-Siamese-Training BroadFace 人脸损失 AMSoftmax ArcFace Circle-Loss DiscFace NPCFace 知识蒸馏 RepDistiller 算法竞赛 排名: 32/2403 排名: 4/430 其他 AMP - 自动混合...
加注释的神经网络模型
02-16
加注释的神经网络模型，项目注释+论文复现：yolo ssd faster-rcnn cam unet yolov3 s4nd yolov4 dynamicrelu broadface targetdrop hs-resnet discface npcface
Dynamic ReLU激活函数
weixin_38190702的博客
06-30 861
Dynamic ReLU激活函数介绍
Dynamic ReLU 解读
weixin_42565571的博客
03-24 3438
论文地址：https://arxiv.org/pdf/2003.10027.pdf 这是Microsoft团队2020年发表的文章，提出动态relu激活函数称之为DY-RELU，比普通的relu函数效果好。 简介：以前的relu不论是有参数的还是没用参数的都是静态的，本文提出动态relu，其参数（一个机能增强函数）由所有输入元素决定，其关键原理是DY-RELU编码全局上下文信息到它的机能增强函...
CVPR 2021 | 自适应激活函数ACON: 统一ReLU和Swish的新范式
深度学习技术前沿
04-23 729
作者丨Ningning MA@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/363274457编辑丨极市平台【导读】本文提出了一种新的激活函数ACON，可以...
【哈工大版】Dynamic ReLU：Adaptively Parametric ReLU及Keras代码（调参记录18）Cifar10~94.28%
chengyouzhen的博客
05-26 891
本文介绍哈工大团队提出的一种动态ReLU（Dynamic ReLU）激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。 本文将残差模块的数量增加到27个。其实之前也这样做过，现在的区别在于，自适应参数化ReLU激活函数中第一个全连接层中的神经元个数设置成了.
Dynamic ReLU论文简析
小毛激励我好好学习的博客
10-12 930
文章目录一、前言二、拟解决的关键问题三、Dynamic ReLU1. 激活函数2. Dynamic ReLU3. Dynamic ReLU的实现四、总结参考文献 一、前言 论文地址：https://arxiv.org/abs/2003.10027 这篇博客主要是对Dynamic ReLU这篇论文进行简单记录与解析。 二、拟解决的关键问题 在轻量级网络例如MobileNet、ShuffleNet、ShiftNet中，由于网络规模的限制，导致模型的表征能力不足。因此，为了进一步提高轻量级网络的表征能力，需要在不
激活函数的理解及其工作原理
a699669的博客
12-29 6104
激活函数 接触机器学习大概一年多了，自己对于激活函数感觉还是停留在表面，因此想重新学习一下，加深一下对于“激活函数”的理解。 文章目录激活函数前言激活函数为什么需要激活函数？二、各种激活函数的介绍1.SigmoidtanhReLU、Leaky ReLU、PReLU、RReLUSwish/SiLUMishAconC、meta-AconC参考资料 前言 假设有一个问题，对如下面这样的图片进行一个二分类的任务，没用激活函数，该如何拟合出一条曲线呢？（默认做不到！） 再考虑一个矩阵运算（毕竟我们使用的神经网络
【哈工大版】Dynamic ReLU：Adaptively Parametric ReLU及Keras代码（调参记录16）
chengyouzhen的博客
05-26 219
本文介绍哈工大团队提出的一种动态ReLU（Dynamic ReLU）激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。 在调参记录15的基础上，本文将第一个残差模块的卷积核数量，从16个增加到32个，同时将自适应参数化ReLU激活函数中第一个全连接层的神经.
Dynamic ReLU论文解读
周先森爱吃素的博客
09-15 1880
Dynamic ReLU论文解读。
【哈工大团队】动态ReLU：自适应参数化ReLU及Keras代码（调参记录12）
chengyouzhen的博客
05-26 642
本文介绍哈工大团队提出的一种Dynamic ReLU激活函数，即自适应参数化ReLU激活函数，原本是应用在基于一维振动信号的故障诊断，能够让每个样本有自己独特的ReLU参数，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。 本文在调参记录10的基础上，在数据增强部分添加了zoom_range = 0.2，将训练迭代次数增加到5000个epoch，批量大小改成了625，测试自.
【哈工大版】Dynamic ReLU：自适应参数化ReLU及Keras代码（调参记录1）
chengyouzhen的博客
05-25 597
自适应参数化ReLU是一种动态ReLU（Dynamic ReLU）激活函数，对所有输入不是“一视同仁”，在2019年5月3日投稿至IEEE Transactions on Industrial Electronics，2020年1月24日录用，2020年2月13日在IEEE官网公布。 本文采用了深度残差网络和自适应参数化ReLU，构造了一个小型的网络（包含9个残差模块，卷积核的个数比较少，最少是8个，最多是32个），在Cifar10图像数据集上进行了简单的测试。 自适应参数化ReLU原本是应用在基于振动.
yolov5改进卷积模块
最新发布
09-14
这是因为YOLOv5自定义的模型可以根据输入的设备自动调整其属性的设备，但是DynamicReLU_A模块始终在CPU上运行。为了解决这个问题，我们需要将变量根据输入的张量x的设备进行调整。 综上所述，要改进YOLOv5的卷积...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值