论文笔记：AdderNet: Do We Really Need Multiplications in Deep Learning?

最新推荐文章于 2022-09-06 17:50:44 发布
最新推荐文章于 2022-09-06 17:50:44 发布
阅读量674 收藏
点赞数
分类专栏： 论文解读 文章标签： 神经网络 机器学习 深度学习 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41105449/article/details/105368255
版权

AdderNet论文解读

《AdderNet: Do We Really Need Multiplications in Deep Learning?》
这是一篇CVPR2020的论文，并选为oral。北大和华为诺亚实验室等联合提出了一种新的神经网络架构AdderNet，只用加法在ImageNet中达到了91.7%的精度。
https://www.zhihu.com/question/365144981?utm_source=cn.wps.moffice_eng
这里有作者王云鹤的相关解读。

一、相关介绍

  1. BinaryConnect（BNN）
    和dropout类似，是一种正则化的方法。将前向传播和后向传播计算的实数权值二值化(-1,1),将乘法运算变为加减运算。然后将二值化权重与上一层的输出相乘，对乘积进行批量标准化处理，二值化后变成下一层的输入。注意每一层的输出都是二值化之后的。反向传播时，要注意梯度使用的是实值，不是二值化值。求权重梯度时是对二值化后的权重求梯度，但是更新时利用上面求得的梯度对实数值权重进行更新。

2.卷积核
**卷积之前为什么要翻转180度？（未解决）**即先翻转再平移。

二、网络架构

本文采用L1了距离。L1距离是两点坐标差值的绝对值之和，不涉及乘法。在此基础上提出了加法器网络AdderNet，**不同类别的CNN特征按其角度来划分（这个还不是很明白）。**由于AdderNet使用L1范数来区分不同的类，因此AdderNet的特征倾向于聚集到不同的类中心。特征空间分布和CNN也大有不同。

最低0.47元/天 解锁文章
Multiplications:儿童乘法程序-开源
04-28
儿童学习乘法的程序。 数量：20个问题最高得分：6最差得分：1源代码：https://github.com/hamdyaea/Multiplications开发人员，创建者：Hamdy Abou El Anein
AdderNet
s6977880的专栏
03-23 3756
  AdderNet是由华为、北大和悉尼大学共同提出的一个网络层结构。主要思想是用加法代替卷积层特征计算的乘法，从而实现减少深度网络的计算。 1、卷积计算   在深度卷积神经网络中，设F∈Rd×d×cin×coutF\in R^{d\times d\times c_{in}\times c_{out}}F∈Rd×d×cin​×cout​是一个卷积核，输入的特征图是X∈RH×W×cinX\in R^...
论文解读：AdderNet: Do We Really Need Multiplications in Deep Learning?
仅用于分享论文心得和技术
03-16 3996
1.AdderNet是什么? 卷积神经网络中的卷积操作充满了大量的浮点值乘法运算，因此相比加法运算，乘法运算复杂度更高，加法网络(AdderNets）交换了深度神经网络中的大规模乘法，获得了更低的计算成本，以其能够便携的搭载在移动设备应用场景。 核心在于用L1距离代替欧式距离，即 代替，在加法器网络中，作者以滤波器与输入特征之间的L1范数距离作为输出响应，分析了这种新的相似性度量对神经网络优化的影响。为了获得更好的性能，通过研究全精度梯度开发一种特殊的反向传播方法。然后作者还提出了一种自适应学习率..
CVPR2020最佳目标检测 | AdderNet（加法网络）含论文及源码链接
gzq0723的博客
03-16 2439
点击蓝字关注我们扫码关注我们公众号: 计算机视觉战队扫码回复：加法网络，获取源码及论文链接CVPR2020收录的结果已经早早公布，想必很多同学都有知晓...
CVPR2020论文点评： AdderNet（加法网络）
吴建明wujianming_110117
03-17 1097
CVPR2020论文点评： AdderNet（加法网络） 论文原文链接：https://arxiv.org/pdf/1912.13200.pdf 源码链接：https://github.com/huawei-noah/AdderNet 简要 与简单的加法运算相比，乘法运算具有更高的计算复杂度。深度神经网络中广泛使用的卷积正好是来度量输入特征和卷积滤波器之间的相似性，这涉及浮点值之间的大量乘法。现...
【CNN】——对硬件优化的AdderNet加法网络简读
怡宝2号
01-19 1051
code:https://github.com/huawei-noah/AdderNet 来自：华为 摘要： 为了降低计算复杂度和能量负担，我们提出了一种新的使用加法器卷积神经网络(AdderNet)的极简硬件结构，其中原始的卷积只被加法器核替换。为了最大限度地挖掘潜在的能源消耗，我们探索了具有共享尺度因子方法的AdderNet的低位量化算法，并为AdderNet设计了特定的和通用的硬件加速器。结果表明，具有int8/int16量化的加法器核也表现出较高的性能，同时消耗较少的资源（理论上∼为81%）。此.
On the memory wall and performance of symmetric sparse matrix multiplications in different data structures on shared memeory machines
02-09
在共享内存机器上，对称稀疏矩阵向量乘法（Symmetric Sparse Matrix-Vector Multiplications，SpMVs）作为一种典型的稀疏操作，内存引用与计算的比例很高。根据屋顶线模型（roof-line model），这种操作的性能受限于...
multiplications
05-23
标题中的“multiplications”可能指的是一个与数学或编程相关的项目，特别是乘法操作。描述中的内容似乎不直接关联到技术细节，而是可能涉及到项目更新或发布的信息，比如“今天和明天以后的修改”可能是在说明代码...
AdderNet:纸代码“ AdderNet
03-20
AdderNet：我们真的需要深度学习中的乘法吗？ 该代码是CVPR 2020论文的演示 我们提出加法器网络（AdderNets）来交换深度神经网络（尤其是卷积神经网络（CNN））中的大规模乘法运算，以更便宜的加法运算来减少计算成本。在AdderNets中，我们将滤波器和输入要素之间的L1范数距离作为输出响应。结果，在ImageNet数据集上使用ResNet-50，建议的AdderNets可以达到74.9％的Top-1精度91.7％的Top-5精度，而无需在卷积层上进行任何乘法。 更新：培训代码在6/28中发布。 运行python main.py以在CIFAR-10上进行训练。 更新：11月27日发布了有关AdderNet的Model Zoo。 CIFAR-10和CIFAR-100数据集的分类结果。 模型 方法 CIFAR-10 CIFAR-100 VGG-小 有线电视新闻网 94.
[CVPR2020] AdderNet阅读笔记
weixin_41153216的博客
07-01 518
文章目录1 Introduction2 Methods2.1 Adder Networks2.2 梯度回传2.3 自适应的学习率缩放14.3 Experiments14.4 Q & A AdderNet是北大和华为诺亚方舟实验室共同完成的一篇文章，被CVPR2020收录为Oral representation. 1 Introduction   深度神经网络中会使用大量的浮点数乘法运算，这些运算可以在GPU上进行提速并在多个计算机视觉领域取得了进步。但是GPU的高功率消耗使得一些算法无法应用在移动端
论文笔记：Do We Really Need Deep Learning Models for Time Series Forecasting?
szzheng的博客
09-06 1509
传统的时间序列预测模型往往依赖于滚动平均、向量自回归和自回归综合移动平均；较新的模型包括深度学习和矩阵分解模型，获得了更具竞争力的性能，但是该类模型往往过于复杂。 近几年，基于复杂深度学习的模型，例如“DeepGlo”或“LSTNet”被提出，性能上优于传统方法（例如ARIMA）和简单的机器学习模型（例如GBRT）。但是对于时序预测而言，如果对输入输入结构进行精心的设计和特征工程，即便是如GBRT这样的简单的集成模型，性能上也能超越很多DNN模型。
AdderSR
qq_45033722的博客
01-12 1550
1. 摘要 该文利用加法器神经网络(AdderNets)研究了单幅图像的超分辨率问题。与卷积神经网络相比，AdderNets利用加法来计算输出特征，从而避免了传统乘法的大量能耗。然而，由于计算范式的不同，很难将addernet在大规模图像分类上的成功直接继承到图像超分辨率任务中。具体来说，加法器操作不能很容易地学习身份映射，而这是图像处理任务的关键。此外，AdderNets还不能保证高通滤波器的功能。为此，该文深入分析了加法器操作与身份映射和插入快捷方式之间的关系，以提高使用加法器网络的SR模型的性能。然后
Addernet学习笔记 --- AdderNet: Do We Really Need Multiplications in Deep Learning?
梦坠凡尘
03-01 2953
AdderNet: Do We Really Need Multiplications in Deep Learning? CVPR2020新论文，作者团队：北京大学&华为诺亚方舟实验室等 论文链接：https://arxiv.org/abs/1912.13200v3 github链接：https://github.com/huawei-noah/AdderNet 本论文提出用加法替代乘法...
论文阅读——AdderNet: Do We Really Need Multiplications in Deep Learning?
qq_37151108的博客
03-03 2813
论文阅读之AdderNet：深度学习中真的需要乘法吗？ AdderNet Code Abstract 与加法运算相比，乘法运算更加复杂。而在神经网络中广泛使用的卷积操作主要就是通过大量的浮点乘法来进行输入图像与filter之间的互相关运算。本文提出的AdderNet则通过加法而不是乘法来减少计算上的开销。AdderNet中将输入与各filter之间的l1-距离作为输出，并设计了AdderNet的反...
【Paper Reading】【CVPR2020】加法网络：AdderNet
外婆家的大灰狼
03-02 3648
AdderNet: Do We Really Need Multiplications in Deep Learning? 作者团队： 北京大学 & 华为诺亚实验室 0.相关资源 论文地址：arvix （如果arvix速度过慢，推荐使用中科院的镜像链接：cn.arvix） 开源代码: github 知乎关于论文的讨论： 如何评价Reddit热议的论文AdderNet？ 另一篇简评 1...
代码实践 | CVPR2020——AdderNet（加法网络）迁移到检测网络（代码分享）
gzq0723的博客
04-09 962
点击蓝字关注我们扫码关注我们公众号: 计算机视觉战队扫码回复：加法网络，获取源码论文链接记得前段时间“计算机视觉研究院”推送了一篇关于CVPR2020最佳分类的文献（链接：CVPR2...
AdderNet加法网络
gcf_uinque的博客
07-04 678
论文地址：https://arxiv.org/abs/1912.13200v2 Abstract 作者用加法代替神经网络中的卷积计算，将传统的CNN转变成AdderNet，大大减少了计算成本、能耗等。具体的做法就是把卷积看作是距离度量的方式，用l1l_1l1​范数来代替卷积。 Adder Networks 普通的卷积滤波器： 加法网络滤波器(利用l1l_1l1​距离)： 但是卷积滤波器输出可正可负，而加法滤波器恒为负数，因此需要通过batch normalization将输出归一化到合适的范围。 Opt
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值