【Paper Readind】:Ternary weight networks

最新推荐文章于 2022-05-16 14:35:22 发布
最新推荐文章于 2022-05-16 14:35:22 发布
阅读量614 收藏 2
点赞数 2
分类专栏： Paper Reading 文章标签： 卷积 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35494379/article/details/105563347
版权

Ternary weight networks

2016 NIPS
中科院 Fengfu Li and Bo Zhang

摘要

本文引入了权值为+1、0和-1的三元神经网络(TWNs)。最小化全精度(float或者double)的权重与三元权重之间的欧几里得距离。此外，对基于阈值的三值化函数进行了优化，能够更快速、且更易于计算地得到近似解。TWNs比最近提出的二值网络具有更强的表达能力，并且比后者更有效。同时，TWNs可以达到16倍或32倍的模型压缩率，并且需要更少的乘法。对MNIST、CIFAR-10和大型ImageNet数据集的基准测试表明，TWNs的性能仅略低于完全精确的对等体，但比类似的二进制精确对等体要好得多。

三值神经网络(TWNs)

我们通过引入三元权重网络（TWNs）来解决有限的内存和有限的计算资源问题。它将权重限制为三值：+1,0和-1。 TWNs试图在全精度权重网络和二元权值网络之间取得平衡。详细的叙述如下：

  • 表达能力：在VGG，GoogLeNet 和残差网络等最新的网络体系结构中，最常用的卷积滤波器大小为3×3。使用二值权重，有23×3=512个模板。 然而，具有相同尺寸的三值权重拥有33×3=19683个模板，其表达能力比二值权重增强了38倍。
  • 模型压缩：在TWNs中，每一个权值需要2字节的存储空间。因此，与浮点（32位）或双精度浮点（64位）精度相比，TWN实现了高达16倍或32倍的模型压缩率。以VGG-19为例，该模型的全浮点权重版本需要约500M的存储需求，三元权值可降至约32M。因此，虽然三元权值网络的压缩率比二元权值网络的压缩率低2倍，但仍然可以压缩大多数现有的最先进的DNN模型。
  • 计算要求：与二元权值网络相比，TWNs拥有额外的0值。 但是，0值不增加任何的乘法运算。 因此，TWN中的乘法累加操作次数与二元权值网络相比保持不变。 而且，它对于专用DL硬件来训练大规模网络也更具有友好性。

问题公式化

为了提高三元权值网络的性能，我们试图通过一个非负的比例因子α来最小化全精度权值W和三元权值Wt之间的欧氏距离。公式如下：
在这里插入图片描述
n是滤波器的大小，W≈αWt，三元权值网络的前向传播如下：
在这里插入图片描述
其中，X是输入的矩阵块；*是卷积运算或内积运算；g是非线性激活函数；⨁是内积或卷积运算，无任何乘法；Xnext是输出的矩阵块，也是下一层的输入
在这里插入图片描述
α乘到前面以后，我们把复杂的乘法运算变成了简单的加法运算，从而加快了整个的训练速度。所以，在模型的前向计算中，我们要计算出α和量化后的权重Wt。

基于阈值的三值化函数的近似解决方案

为了求解公式（1），常规的方法是，将J(α,Wt)展开,再求导，但这样求出的α*和Wt*是相互依赖的，没有一个很好的解决方案，为了克服这个问题，我们尝试找到一个近似最优解以阈值为基础的三值化函数。
将Wt安照以下方法来求：
在这里插入图片描述
Δ是一个正的阈值参数，原始的问题展开为：
在这里插入图片描述
在这里插入图片描述
对于给定的Δ，最优的α为:
在这里插入图片描述
将公式（5）带入（4）中，得到Δ的最优解，
在这里插入图片描述
化成这样公式也没法直接求解，提出一个近似的解决方案是，假设W是均匀分布或正态分布，假设W的值都分布在[-a，a],让量化后的权大概+1、-1、0均分，是比较合理，所以可以取Δ*=1/3 a,也就是2/3 E(|W|),为了计算方便，便取：
在这里插入图片描述
也就可以计算出最优的α。

模型训练

训练过程采用随机梯度下降算法，和BNN一样，三进制权值在前向和后向传播期间使用，但在参数更新期间不使用，参数更新采用原精度的权值。在训练中，也使用了Batch Normalization和学习率衰减。
在这里插入图片描述

实验

在这里插入图片描述
具体实验结果可以看论文，效果反正比BNN要好，比全精度要差。

结论

本文提出的三值的量化方案，我猜想他是借鉴了NOR-Net的加一个尺度因子的思想，不像BNN直接采用符号函数进行直接的量化。可以稍微减小量化中的损失，又由于是三值，所以会比NOR-Net的效果要好，但没有对激活进行量化。但还是和BNN和NOR-Net一样，文章提出的实现移动端实现，但并没有给出在移动端具体实现的效果。个人觉得二值化或者三值化的量化方案还是很有前景，能够大大减小模型的大小，减少乘法的计算，实现加速。虽然精度很有损失，但还说的过去，不是完全不能用，对于工程项目来说，实际的工程中，一般不会有ImageNet等这么多的类别来让我们分类，实际项目来说，大部分的需求可能是针对特定目标进行识别，像舰船的识别、安防中人体的识别，在这些项目中二值化网络还是有很大的应用。近几年，二值网络也是有了很多的进展，具体的还没了解，据说一些网络精度已经超过了一些的全精度的网络。

网络上一个实现BNN在移动端的例子：https://v.youku.com/v_show/id_XNDIzMzM4MTQ4NA==.html?spm=a2hbt.13141534.0.13141534

小铁匠_LR
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Ternary weight networks
holmosaint的博客
09-06 711
这篇文章开发了一种新型的网络结构——ternary nearal networks(TWNs)。该网络所有的权值被限制在1，0，-1之中，只需要2-bit来存储权值信息。TWNs和全精度的网络之间的欧氏距离确保是最小的，为了高效地实现这一点，文章中使用了一个threshold-based function来近似。 在性能方面，TWNs比起binary precision有更强大的描述性；同时和全...
Ternary weight networks 论文笔记
Jayxbx的博客
06-06 3370
0 摘要
GXNOR-Net：在统一离散化框架下，通过三元权重和激活来训练深层神经网络，而无需完整的内存
03-14
尽管深度神经网络（DNN）是打开AI时代的革命力量，但是众所周知，巨大的硬件开销挑战了它们的应用。 最近，几个二进制和三进制网络（其中昂贵的乘法累加运算可以被累加或什至二进制逻辑运算代替）使DNN的片上训练非常有前途。 因此，迫切需要建立一种可以将这些网络包含在一个统一的框架中的架构，该架构既可以实现更高的性能，又可以减少开销。 为此，有两个基本问题尚待解决。 第一个是在神经元激活离散时如何实现反向传播。 第二个方法是如何在训练阶段消除精确的隐藏权重，以打破内存/计算消耗的瓶颈。 为了解决第一个问题，我们提出了一种多步神经元激活离散化方法和一种微分逼近技术，可以在离散DNN上实现反向传播算法。 对于第二个问题，我们提出了一种离散状态转换（DST）方法，以在不保存隐藏权重的情况下将权重约束在离散空间中。 通过这种方式，我们构建了一个统一的框架，该框架将二进制或三进制网络作为其特殊情况，并在以下网址上提供了启发式算法：https：//github.com/AcrossV/Gated-XNOR。 更具体地说，我们发现，当权重和激活都变为三进制值时，由于仅发生非零权重和非零激活事件，DNN可以
三值神经网络
wsq520521的专栏
04-06 1728
权重压缩：三值神经网络 背景 卷积神经网络（Convolutional Neural Network，CNN）尤其适合于目标识别、分类、检测及图像分割等计算机视觉应用。 典型的模型有数百万参数并运算量大；例如，AlexNet有6100万参数（浮点数权值共占用249MB存储空间），分类一张图片需要15亿高精度运算。 所以为降低CNN规模和使用资源，现在有模型修剪（model pruning，去掉值较...
权值简化（1）：三值神经网络（Ternary Weight Networks）
XJTU_NOC_Wei的博客
10-19 9082
三值神经网络： 本文是对中科院两位科研工作者的文章的理解翻译：     就目前而言，深度神经网络的层数和训练时间变得越来越多。一方面，人们想要在处理器上面下功夫，但是处理器的处理速度也十分有限。造成目前一个比较深的神经网络的训练时间有时候往往需要一到两周，基于目前的困难，就有人提出了解决方式。     首先，在神经网络训练的整个训练过程中，最占用时间的无疑是乘法操作。是浮点型数据的乘法尤其消
【Paper Reading】TTQ三值网络
小铁匠的博客
04-24 840
TRAINED TERNARY QUANTIZATION 2017 ICLR 清华 斯坦福 摘要 提出一种将神经网络进行三值量化的方法，该方法精度下降很小，甚至可以提高某些模型的精度，32、44、56层ResNet在CIFAR-10上和ImageNet上的AlexNet。在推理过程中，只需要三元值(2bit权值)和比例因子，因此我们的模型比全精度模型小将近16倍。三元模型也可以看作是稀疏的二元权值...
【深度学习环境】WIN10安装TENSORFLOW（GPU版本) ,安装搜集的有用帖子
qq_41100635的博客
08-12 390
Windows10 + NVIDIA Geforce GTX 1050 + twnsorflow 1.14.0 + keras 2.2.4 安装TENSORFLOW（GPU）版本再配置keras环境，可以说是每一个开始深度学习的同学第一个挑战。因为随着安装包的更新换代，网上的许多帖子因为时效性的原因，都不太可靠，甚至本身就是一个坑。笔者认为安装过程中一定要注意twnsorflow版本与python的版本对应，以及与CUDA和cuDNN的版本对应。（这个能够注意到基本就成功一半了，都是坑） ...
readind-level-analyzer：CS50的可读性。 该程序将吸收大量文本，并根据文本的某些方面对其阅读水平进行分析
02-17
在这个名为"readind-level-analyzer"的项目中，开发者利用C和Python编程语言实现了一种算法，能够对输入的大量文本进行深度分析，以确定其阅读难度。在CS50课程背景下，这可能作为学生理解信息处理和自然语言处理...
pifi:立即调用pify
05-02
菲菲立即调用安装npm install --... log ( 'Readind readme.md now' ) const content = await pifi ( cb => fs . readFile ( 'readme.md' , cb ) ) console . log ( 'readme.md contains:' , content )}原料药
神经网络模型压缩方法讲解二值三值DNS\INQ等
04-17
模型压缩ppt的总结，可以作为粗略的一个概述，很精炼。
基于Pytorch三值化网络TWN的构建
m0_49079037的博客
07-17 516
1. 前言 三是化网络是2016年由Fengfu Li在论文《Ternary Weight Networks》中提出来的，它相比二值化网络具有更好的效果。论文地址如下：https://arxiv.org/abs/1605.04711 。 2. 出发点 首先，论文提出多权值比二值化具有更好的网络泛化能力。论文中提到，在VGG，GoogLeNet 和残留网络等最新的网络体系结构中，最常用的卷积滤波器大小为，如果使用上一节提到的二值权重，有个模板，但如果使用三值权重就有个模板，它的表达能力比二值权重强很多。
论文翻译：Ternary Weight Networks
weixin_38171030的博客
04-16 199
目录 Abstract 1 Introduction 1.1 Binary weight networks and model compression 2 Ternary weight networks 2.1 Problem formulation ...
二值连接：训练深度神经网络的传播中使用二值权重
Tres
09-06 5360
BinaryConnect: Training Deep Neural Networks with binary weights during propagations Abstract 深度神经网络（DNN）在广泛的任务中取得了优秀的成果，通过大型训练集和大型模型取得了最优结果。在过去，GPU因其更高的计算速度能够实现这些突破。将来，在训练和测试时间更快的计算可能对未来的发展和低功耗的消费者...
WeightNet--在权值空间将SENet和CondConv统一
panghuzhenbang的博客
05-16 233
论文地址：2020 ECCV 《Revisiting the Design Space of Weight Networks》 预备知识 CondConv SENet 该论文在权重层面上统一了目前两种有效的网络，SENet和CondConv。SENet是在特征层面进行融合，CondConv则是在卷积核层面进行融合，作者首次探究这两种方法之间的联系，并且基于此提出了一种灵活、高效、简单的卷积核生成网络，有明显的性能提升。 Grouped fully-connected operation（Gr..
二值神经网络（Binary Neural Network，BNN）
热门推荐
雨石
03-18 5万+
在我刚刚过去的研究生毕设中，我在ImageNet数据集上验证了图像特征二值化后仍然具有很强的表达能力，可以在检索中达到较好的效果。而Bengio大神的这篇文章，则不止于将特征二值化，而是要将权重和每层的激活值统统二值化。相比于非二值化的网络，将大量的数学运算变成了位操作。这样就节省了大量的空间而前向传播的时间，使神经网络的应用门槛变得更低。
（笔记）细颗粒度的三值网络Ternary Neural Networks with Fine-Grained Quantization
yingpeng_zhong的博客
06-02 2128
原文链接 摘要 方法 实验效果 原文链接 https://arxiv.org/abs/1705.01462 摘要 提出一种三值化方法，激活函数是8/4bit的，不需要训练，对N个权重量化到三值 ，N=2,4,8,16等等。当N=4时，ResNet-101和ResNet-50的Top1准确率分别下降3.7%和4.2%。 方法 目的：不训练地，把32bit浮点权重W...
【论文阅读笔记】---二值神经网络（BNN）
u012101561的博客
04-27 1万+
       现在神经网络一般采用浮点计算，需要较大的存储空间和计算量，严重阻碍在移动端的应用。二值化神经网络以其高模型压缩率和快计算速度的潜在优势，近些年成为深度学习的热门研究方向。本文就是对《Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or ...
@ExcelAnnotation
最新发布
07-29
@ExcelAnnotation是一个自定义的注解，用于标记在Student类的字段上。它有一个属性order，用于指定字段在Excel表格中的顺序。在给定的代码中，id字段的order属性值为1，name字段的order属性值为2，age字段的order属性值为3，entranceTime字段的order属性值为4，readind字段的order属性值为5。这样，在将Student对象导出到Excel表格时，可以按照order属性的值来确定字段在表格中的位置。\[1\] #### 引用[.reference_title] - *1* [Excel导出列表数据工具 注解+反射](https://blog.csdn.net/flower_CSDN/article/details/100122359)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [SpringBoot 注解Excel导入导出升级版](https://blog.csdn.net/sinat_19351993/article/details/103407823)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值