华为诺亚AdderNet的衍生版本,在超分辨率上的应用,由于代码还没公开,简单mark一下
论文地址:https://arxiv.org/pdf/2009.08891.pdf
Abstract:
本文使用加法器神经网络(AdderNet)研究单图像超分辨率问题。与卷积神经网络相比,AdderNet利用加法来计算输出特征,从而避免了传统乘法运算的大量能耗。但是,由于计算范式的不同,很难将AdderNet在大规模图像分类上的成功直接继承到图像超分辨率任务上。具体而言,加法器操作无法轻松学习身份映射,这对于图像处理任务至关重要。此外,AdderNet无法确保高通滤波的功能。为此,我们彻底分析了加法器操作与身份映射之间的关系,并插入shortcuts方式以使用加法器网络增强SR模型的性能。然后,我们开发了可学习的能量激活函数,用于调整特征分布和细化细节。在几个基准模型和数据集上进行的实验表明,我们使用AdderNets的图像超分辨率模型可以实现与CNN基线相当的性能和视觉质量,并且能耗降低了约2倍。
Experiments:
一如既往的没有推理速度实验,这也是华为AdderNet最被诟病的地方