AdderNet

最新推荐文章于 2022-01-19 20:59:04 发布

樨潮

最新推荐文章于 2022-01-19 20:59:04 发布

阅读量690

点赞数

分类专栏：目标检测

原文链接：https://blog.csdn.net/c2250645962/article/details/104565639

版权

目标检测专栏收录该内容

132 篇文章 9 订阅

订阅专栏

AdderNet: Do We Really Need Multiplications in Deep Learning?

CVPR2020新论文，作者团队：北京大学&华为诺亚方舟实验室等
论文链接：https://arxiv.org/abs/1912.13200v3
github开源链接：https://github.com/huawei-noah/AdderNet

本论文提出用加法替代乘法操作的方法，在不降低精度的情况下大幅减少算力消耗。

在Addernet中，采用滤波器与输入特征之间的1范数距离作为输出响应。为了获得更好的性能，作者团队通过研究全精度梯度，开发了一种特殊的加法器反向传播方法。然后根据每个神经元梯度的大小，提出了一种自适应学习速率策略来增强加法器的训练过程。

如何让避免CNN中的乘法呢？研究人员使用L1了距离。L1距离是两点坐标差值的绝对值之和，不涉及乘法。
在这里插入图片描述
加法运算是L1距离中的主要操作，使用补码可以轻松地将求差值的运算转化为加法。
研究人员在此基础上提出了加法器网络AdderNet，下图展示了AdderNet和CNN的不同之处：

不同类别的CNN特征按其角度来划分。由于AdderNet使用L1范数来区分不同的类，因此AdderNet的特征倾向于聚集到不同的类中心。

结果表明，在ImageNet数据集上使用ResNet-50，在卷积层不进行任何乘法运算的情况下，所提出的加法器可以达到74.9%的Top-1精度和91.7%的Top-5精度。如下图所示：
在这里插入图片描述

作者表示，在未来的工作中，他们将研究AdderNet的量化结果，以实现更高的速度和更低的能耗，以及AdderNet的通用性，不仅用于图像分类，还将用到目标检测和语义分割等任务中。

参考：
https://zhuanlan.zhihu.com/p/101388801
http://www.360doc.com/content/20/0227/17/10240337_895236909.shtml
https://www.zhihu.com/question/365144981?rf=365131015

                                </div>
            <link href="https://csdnimg.cn/release/phoenix/mdeditor/markdown_views-b6c3c6d139.css" rel="stylesheet">
                                            <div class="more-toolbox">
            <div class="left-toolbox">
                <ul class="toolbox-list">
                    
                    <li class="tool-item tool-active is-like "><a href="javascript:;"><svg class="icon" aria-hidden="true">
                        <use xlink:href="#csdnc-thumbsup"></use>
                    </svg><span class="name">点赞</span>
                    <span class="count"></span>
                    </a></li>
                    <li class="tool-item tool-active is-collection "><a href="javascript:;" data-report-click="{&quot;mod&quot;:&quot;popu_824&quot;}"><svg class="icon" aria-hidden="true">
                        <use xlink:href="#icon-csdnc-Collection-G"></use>
                    </svg><span class="name">收藏</span></a></li>
                    <li class="tool-item tool-active is-share"><a href="javascript:;" data-report-click="{&quot;mod&quot;:&quot;1582594662_002&quot;}"><svg class="icon" aria-hidden="true">
                        <use xlink:href="#icon-csdnc-fenxiang"></use>
                    </svg>分享</a></li>
                    <!--打赏开始-->
                                            <!--打赏结束-->
                                            <li class="tool-item tool-more">
                        <a>
                        <svg t="1575545411852" class="icon" viewBox="0 0 1024 1024" version="1.1" xmlns="http://www.w3.org/2000/svg" p-id="5717" xmlns:xlink="http://www.w3.org/1999/xlink" width="200" height="200"><defs><style type="text/css"></style></defs><path d="M179.176 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5718"></path><path d="M509.684 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5719"></path><path d="M846.175 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5720"></path></svg>
                        </a>
                        <ul class="more-box">
                            <li class="item"><a class="article-report">文章举报</a></li>
                        </ul>
                    </li>
                                        </ul>
            </div>
                        </div>
        <div class="person-messagebox">
            <div class="left-message"><a href="https://blog.csdn.net/c2250645962">
                <img src="https://profile.csdnimg.cn/D/F/7/3_c2250645962" class="avatar_pic" username="c2250645962">
                                        <img src="https://g.csdnimg.cn/static/user-reg-year/1x/8.png" class="user-years">
                                </a></div>
            <div class="middle-message">
                                    <div class="title"><span class="tit"><a href="https://blog.csdn.net/c2250645962" data-report-click="{&quot;mod&quot;:&quot;popu_379&quot;}" target="_blank">梦坠凡尘</a></span>
                                        </div>
                <div class="text"><span>发布了54 篇原创文章</span> · <span>获赞 15</span> · <span>访问量 1万+</span></div>
            </div>
                            <div class="right-message">
                                        <a href="https://im.csdn.net/im/main.html?userName=c2250645962" target="_blank" class="btn btn-sm btn-red-hollow bt-button personal-letter">私信
                    </a>
                                                        <a class="btn btn-sm  bt-button personal-watch" data-report-click="{&quot;mod&quot;:&quot;popu_379&quot;}">关注</a>
                                </div>
                        </div>
                </div>