Ternary weight networks

最新推荐文章于 2020-04-16 18:21:56 发布
最新推荐文章于 2020-04-16 18:21:56 发布
阅读量728 收藏 3
点赞数
分类专栏： CNN quantization ML论文 machine learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/holmosaint/article/details/82460821
版权
本文介绍了Ternary Weight Networks (TWNs)，一种将权重限制在1, 0, -1的网络结构，以2-bit存储权重。TWNs在保持与全精度网络接近性能的同时，提供了更高的表达能力和显著的模型压缩，可压缩16到32倍，减少乘法运算。通过阈值函数逼近全精度权重，实现计算效率与硬件友好。实验表明，TWNs在表达能力、模型压缩和计算需求上优于二进制精度网络。" 120993575,10634274,使用DOSBox与MASM进行微机原理汇编语言实验,"['编辑器', 'DOSBox', '汇编语言', '程序编译', '调试工具']
摘要由CSDN通过智能技术生成

这篇文章开发了一种新型的网络结构——ternary nearal networks(TWNs)。该网络所有的权值被限制在1，0，-1之中，只需要2-bit来存储权值信息。TWNs和全精度的网络之间的欧氏距离确保是最小的，为了高效地实现这一点，文章中使用了一个threshold-based function来近似。

在性能方面，TWNs比起binary precision有更强大的描述性；同时和全精度的网络相比，能够压缩16~32倍，而且乘法的开销也会变小。具体的优势如下：

Expression ability

现在大型的CNN网络如VGG个、GooLeNet等都采用的是3*3的filter，所以和binary precision的2^9=512种不同的表示相比，ternary precision有3^9=19683种不同的表示。

Model compression

TWNs需要2-bit来存储权值信息，比起float和double类型的precision能够压缩16~32倍，但是模型的规模是binary precision的2倍左右。比如VGG网络原本需要大约500M的存储空间，经过压缩之后只需要大约32M的存储空间。

Computational requirement

和BPWNs相比，TWNs有额外的0，但是这并不影响乘法操作中的累加，所以性能并不会比BPWNs差，对硬件也是友好的。

1 Problem formulation

作者试图使得ternary value和full precision value之间的欧氏距离最短。假设fp的权值为W，ternary-value的权值为Wt，再加上一个非负的缩放系数α，这个优化问题可以表述为：

最低0.47元/天 解锁文章
holmosaint
关注
专栏目录
模型量化与剪枝原理与代码实战案例讲解
AI天才研究院
08-10 842
模型量化与剪枝原理与代码实战案例讲解 1. 背景介绍 1.1 模型量化与剪枝的必要性 1.1.1 模型压缩的需求 1.1.2 模型部署的限制
CNN模型压缩总结
qq_23546067的博客
12-20 2390
CNN模型压缩总结 总结综述 参考：https://blog.csdn.net/shentanyue/article/details/83508497 模型裁剪/剪枝（Pruning） 单个权重(Weight)剪枝——非结构化 定义：任意权重被看作是单个参数并进行随机非结构化剪枝。 缺点： 导致网络连接不规整，需要通过稀疏表达来减少内存占用，进而导致在前向传播时，需要大量条件判断和额外空间来...
Ternary weight networks 论文笔记
Jayxbx的博客
06-06 3473
0 摘要
【Paper Readind】:Ternary weight networks
小铁匠的博客
04-16 693
Ternary weight networks 2016 NIPS 中科院 Fengfu Li and Bo Zhang 摘要 本文引入了权值为+1、0和-1的三元神经网络(TWNs)。最小化全精度(float或者double)的权重与三元权重之间的欧几里得距离。此外，对基于阈值的三值化函数进行了优化，能够更快速、且更易于计算地得到近似解。TWNs比最近提出的二值网络具有更强的表达能力，并且比后者...
Deep Compression/Acceleration（模型压缩加速总结）
Mars_WH的专栏
12-07 3322
模型压缩论文目录结构`structure`量化`quantization`Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1FINN: A Framework for Fast, Scalable Binarized Neural ...
Ternary weight networks阅读笔记
田震宇
06-24 423
本篇文章只对weight做了量化，且是三值量化。 量化目标： 量化方式： 对于Δ∗\Delta^{*}Δ∗的取值，文章给出了下面的解释 总之就是正态分布约为0.6σ\sigmaσ,标准分布为13a\frac {1}{3}a31​a. trainning 和inference的操作： 采用了train-aware quantization。 在inference的时候再把全精度的weigh...
论文翻译：Ternary Weight Networks
weixin_38171030的博客
04-16 353
目录 Abstract 1 Introduction 1.1 Binary weight networks and model compression 2 Ternary weight networks 2.1 Problem formulation ...
权值简化（1）：三值神经网络（Ternary Weight Networks）
XJTU_NOC_Wei的博客
10-19 9212
三值神经网络： 本文是对中科院两位科研工作者的文章的理解翻译：     就目前而言，深度神经网络的层数和训练时间变得越来越多。一方面，人们想要在处理器上面下功夫，但是处理器的处理速度也十分有限。造成目前一个比较深的神经网络的训练时间有时候往往需要一到两周，基于目前的困难，就有人提出了解决方式。     首先，在神经网络训练的整个训练过程中，最占用时间的无疑是乘法操作。是浮点型数据的乘法尤其消
（笔记）细颗粒度的三值网络Ternary Neural Networks with Fine-Grained Quantization
yingpeng_zhong的博客
06-02 2186
原文链接 摘要 方法 实验效果 原文链接 https://arxiv.org/abs/1705.01462 摘要 提出一种三值化方法，激活函数是8/4bit的，不需要训练，对N个权重量化到三值 ，N=2,4,8,16等等。当N=4时，ResNet-101和ResNet-50的Top1准确率分别下降3.7%和4.2%。 方法 目的：不训练地，把32bit浮点权重W...
Ternary Neural Networks with Fine-Grained Quantization
langzi453的博客
02-15 371
这篇文章主要针对以往三值量化一刀切的粗暴“量化”方式提出“细粒度”量化的想法。 文章目的将现有的网络不经训练地转化为三值网络，且激活函数8bit/4bit的。 相对于前人的工作，这篇文章的创新点在于Weight Grouping上。 3.1说应该将weights分为正交的子集。 3.2说3.1太麻烦了，直接按照顺序分成子集就好，真是纠结的一篇文章啊。   效果上，作者给出的字面数据...
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
mizhenpeng的博客
09-20 9511
这篇文章是Google发布的关于神经网络量化方面的文章，文章地址：https://arxiv.org/abs/1712.05877 本博客参考了微信公众号“AI芯片算法”中的原创文章《Google CVPR2018 8bit 量化论文》一文。 1、本文的贡献 本文主要侧重将推断中的浮点数运算量化为整数运算（Integer-Arithmetic-Only），最终将权重和激活函数量化为8-bit...
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
holmosaint的博客
09-05 3979
摘要 作者提出了一种只使用整数运算的quantization方式，比起float point运算效率更高。同时提出了一种相应的训练方式来保证quantization之后的准确率。这篇文章的方法提升了accuracy和on-device latency之间的trade off，并且可以在MobileNets上使用。 1 introduction 作者总结了目前有效将庞大的神经网络应用在资源更为...
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference 论文阅读
田震宇
06-18 2822
Introduction Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference 是 google 关于 模型压缩的一篇文章,该文章不仅仅是一篇研究工作，而且已经应用到Tensorflow Lite中。论文内容非常丰富，主要涉及了 Uniform affine qun...
【Quantized Convolutional Neural Networks for Mobile Devices】论文笔记
我是一只比菜鸟还菜的菜鸟！
07-03 1649
[CVPR '16]论文链接：https://arxiv.org/abs/1512.06473 代码链接：https://github.com/jiaxiang-wu/quantized-cnn 文章中使用的是PQ量化方法，同时提出了量化误差的校正方案。
Confusing Ternary
最新发布
06-10
Confusing Ternary 指的是使用三元运算符 (?:) 时，代码逻辑不清晰、难以理解的情况。这种情况通常出现在嵌套的三元运算符中，或者在三元运算符中使用复杂的表达式或条件。 为了避免 Confusing Ternary，可以采取...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值