激活函数对深度神经网络的成功可太重要了,它可以提升学习复杂关系的能力,减少过拟合,增强模型性能,与它相关的研究一直是重中之重。最近,这方向有了不少新突破。
ECCV 2024上的这篇,提出了一种可训练的高表达激活函数DiTAC,基于高效微分CPAB实现,在下游分割任务、图像生成、回归问题等上都达成了大超越!
另外还有性能更佳,推理速度提升8倍的新型架构SineKAN!其核心创新在于,SineKAN将传统的 B-Spline 激活函数替换为正弦激活函数...
为方便论文er了解前沿,本文整理了激活函数12篇最新的论文,包含一部分顶会成果(比如ECCV、CVPR),有开源代码的都放上了,需要的同学可无偿获取~
全部论文+开源代码需要的同学看文末
Trainable Highly-expressive Activation Functions
方法:论文提出了一种名为DiTAC的新型可训练激活函数,它基于高效的微分同胚变换(CPAB),通过引入极少的可训练参数显著提升深度神经网络的表现和表征能力,在语义分割、图像生成、回归问题及图像分类等任务中超越了现有的固定与可训练激活函数。
<