论文地址:https://arxiv.org/abs/2403.19967
论文代码:https://github.com/ma-xu/Rewrite-the-Stars
最近的研究引起了人们对“星形运算”(按元素乘法)在网络设计中未被充分利用的潜力的关注。虽然直观的解释很多,但其应用的基本原理仍然大部分未被探索。我们的研究试图揭示星形运算将输入映射到高维、非线性特征空间的能力——类似于核技巧——而不扩展网络。我们进一步介绍了StarNet,一个简单但强大的原型,展示了在紧凑的网络结构和高效的预算下令人印象深刻的性能和低延迟。如天空中的星星,星形运算看似不起眼,但拥有广阔的潜力宇宙。我们的工作鼓励在不同任务中进一步探索。
图示显示了星形运算(元素逐个乘法)的优势。左侧展示了从相关工作[18, 45, 60]中抽象出的基本构建块,其中“?”代表“星形”或“求和”。右侧突出显示了两种运算之间显著的性能差异,其中“星形”展示了更优越的性能,特别是在更窄的宽度下。更多结果请查看第3.4.1节。