ECCV 2024,全新激活函数!

激活函数对深度神经网络的成功可太重要了,它可以提升学习复杂关系的能力,减少过拟合,增强模型性能,与它相关的研究一直是重中之重。最近,这方向有了不少新突破。

ECCV 2024上的这篇,提出了一种可训练的高表达激活函数DiTAC,基于高效微分CPAB实现,在下游分割任务、图像生成、回归问题等上都达成了大超越!

另外还有性能更佳,推理速度提升8倍的新型架构SineKAN!其核心创新在于,SineKAN将传统的 B-Spline 激活函数替换为正弦激活函数...

为方便论文er了解前沿,本文整理了激活函数12篇最新的论文,包含一部分顶会成果(比如ECCV、CVPR),有开源代码的都放上了,需要的同学可无偿获取~

全部论文+开源代码需要的同学看文末

Trainable Highly-expressive Activation Functions

方法:论文提出了一种名为DiTAC的新型可训练激活函数,它基于高效的微分同胚变换(CPAB),通过引入极少的可训练参数显著提升深度神经网络的表现和表征能力,在语义分割、图像生成、回归问题及图像分类等任务中超越了现有的固定与可训练激活函数。

<

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值