TRAINED TERNARY QUANTIZATION 论文

最新推荐文章于 2020-04-24 19:29:21 发布
最新推荐文章于 2020-04-24 19:29:21 发布
阅读量244 收藏 2
点赞数
分类专栏： 模型量化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35608277/article/details/104882257
版权

本文是在TWQ(Ternary Weight Quantization)的基础上做出的改进，其流程可以简单概括为：
在这里插入图片描述

首先将全精度权重正则化到[-1,1]之间，
然后根据一个每层相同的阈值delta_t来进行量化(这里使用统一的t是为了缩小搜索空间，用每个通道不同的t应该能得到更好的表现，但感觉会增加过多的计算消耗)为-1，0和1，
在这里插入图片描述
Ps：还提了第二种方法，见5.1.1，但论文里没有这一节。。。
在这里插入图片描述

最后分别乘以Wn和Wp作为结果计算loss，再通过梯度下降更新Wn、Wp和原始梯度(这里使用了STE)。

Q:想知道这两个如果不是-1 1 是不是全精度的，那二值的意义在哪？
在这里插入图片描述

反向更新

全精度的梯度

在这里插入图片描述
量化的梯度
在这里插入图片描述

Q:具体怎么用怎么更新也没说，
按照TWN (也是参考BNN XNOR的)，只更新全精度的，三值化的只用于前向传播和反向传播

看这个图稍微好些，上面大小，下面数量分布
在这里插入图片描述

rrr2
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
（笔记）网络压缩量化，训练三值量化TRAINED TERNARY QUANTIZATION
yingpeng_zhong的博客
05-20 3653
原文链接： 摘要 方法 实验效果 讨论 原文链接： https://arxiv.org/abs/1612.01064 摘要 提供一个三值网络的训练方法。对AlexNet在ImageNet的表现，相比32全精度的提升0.3%。 方法 对于每一层网络，三个值是32bit浮点的{−Wnl,0,Wpl}{−Wln,0,Wlp}\{-W^n_l, 0 , W^p_l\}，...
Trained Ternary Quantization
JachinMa的博客
02-10 416
本文是在TWQ(Ternary Weight Quantization)的基础上做出的改进，其流程可以简单概括为： 首先将全精度权重正则化到[-1,1]之间，然后根据一个每层相同的阈值t来进行量化(这里使用统一的t是为了缩小搜索空间，用每个通道不同的t应该能得到更好的表现，但感觉会增加过多的计算消耗)为-1，0和1，最后分别乘以Wn和Wp作为结果计算loss，再通过梯度下降更新Wn、Wp和原始梯...
论文阅读笔记-TRAINED TERNARY QUANTIZATION
白色涟漪裙
09-04 276
提出了一种对网络模型的三元素量化的策略，即（,0,）,与其他的方法相比，这个方法的,不是固定的，并且绝对值不一定相等。于是：，也是模型两个训练参数之一。于是网络的训练模型也需要对这两个参数进行训练。于是作者对后向传播函数也进行了修改。作者对模型的压缩效果进行了分析。分析的结果如下： ...
三值网络--Trained Ternary Quantization
AI小作坊 的博客
05-08 1628
Trained Ternary Quantization ICLR 2017 https://github.com/TropComplique/trained-ternary-quantization pytorch https://github.com/buaabai/Ternary-Weights-Network pytorch 传统的二值网络将权重 W 量化为 +1、-1； 三值网络 ...
【论文阅读笔记】Trained Ternary Quantization
时光机 °的博客
11-13 1616
论文发布时间：2016-12 论文地址：https://arxiv.org/pdf/1612.01064.pdf 全文概括   TTQ只量化权重，该方法将权重量化成三元，即2-bit。   与其他方法不同的是，该方法的尺度因子更具有“包容性”，不是某层权重元素绝对值的均值αl=∑∣w∣countl\alpha_l=\sum\frac{|w|}{count_l}αl​=∑countl​∣w∣​，而是...
Deep-Compression-Compressing-Deep-Neural-Networks-with-Pruning-Trained-Quantization-and-Huffman:这是https的pytorch实现
05-10
总的来说，"Deep Compression-Compressing-Deep-Neural-Networks-with-Pruning-Trained-Quantization-and-Huffman"提供了一个实用的工具，帮助研究者和开发者应对深度学习模型的大小问题，为在资源受限的环境中运行...
阅读理解-论文.zip
08-18
3. **预训练模型**：预训练模型如BERT、GPT（Generative Pre-trained Transformer）、RoBERTa（Robustly Optimized BERT Pretraining Approach）等，通过无监督学习在大规模文本上训练，然后在特定任务上进行微调，...
论文写作指导
11-14
He has trained several thousand PhD students and academics from 35 countries to prepare and give presentations. Since 1984 he has been revising research papers, and in 2009 he set up ...
WaveNet论文
11-22
nonethe- less we show that it can be efficiently trained on data with tens of thousands of samples per second of audio. When applied to text-to-speech, it yields state-of- the-art performance, with ...
Pre-trained Convolutional Neural Network代码
04-30
这个例子展示了如何使用预先训练的卷积神经网络(CNN)作为一个特征提取器来训练图像分类器。
（笔记）细颗粒度的三值网络Ternary Neural Networks with Fine-Grained Quantization
yingpeng_zhong的博客
06-02 2118
原文链接 摘要 方法 实验效果 原文链接 https://arxiv.org/abs/1705.01462 摘要 提出一种三值化方法，激活函数是8/4bit的，不需要训练，对N个权重量化到三值 ，N=2,4,8,16等等。当N=4时，ResNet-101和ResNet-50的Top1准确率分别下降3.7%和4.2%。 方法 目的：不训练地，把32bit浮点权重W...
TTQ
Lumiran的博客
09-26 1743
Trained Ternary Quantization by ChenzhuoZhu 1 简介 使用了2个全精度尺度系数WlpW^p_lWlp​，WlnW^n_lWln​，并且把权重全部量化为三元组{−Wln,0,+Wlp}\{-W_l^n, 0, +W^p_l\}{−Wln​,0,+Wlp​}。而不是传统的{−1,0,+1}\{-1, 0, +1\}{−1,0,+1}或者{−E,0,+E}\{...
深度学习模型压缩与优化加速（Model Compression and Acceleration Overview）
热门推荐
AI Flash
07-17 4万+
1. 简介 深度学习（Deep Learning）因其计算复杂度或参数冗余，在一些场景和设备上限制了相应的模型部署，需要借助模型压缩、优化加速、异构计算等方法突破瓶颈。 模型压缩算法能够有效降低参数冗余，从而减少存储占用、通信带宽和计算复杂度，有助于深度学习的应用部署，具体可划分为如下几种方法（后续重点介绍剪枝与量化）： 线性或非线性量化：1/2bits, int8 和 fp16等； 结构或...
【Paper Reading】TTQ三值网络
小铁匠的博客
04-24 824
TRAINED TERNARY QUANTIZATION 2017 ICLR 清华 斯坦福 摘要 提出一种将神经网络进行三值量化的方法，该方法精度下降很小，甚至可以提高某些模型的精度，32、44、56层ResNet在CIFAR-10上和ImageNet上的AlexNet。在推理过程中，只需要三元值(2bit权值)和比例因子，因此我们的模型比全精度模型小将近16倍。三元模型也可以看作是稀疏的二元权值...
论文记录-Deep Compression:Compressing DeepNeural Networks With Pruning, Trained Quantization And Huffman
莫失莫忘的博客
09-09 3193
本文个人博客访问地址：点击查看 1、概述 压缩主要分为三个阶段：剪枝(pruning)、训练分层(trained quantization)以及 哈夫曼编码(Huffman coding) 可以压缩35到49倍，并且不影响精度 [模型压缩的主要用于还是能够用于小型的设备上，例如手机端等，比如Google的Mobile Net, 但是准确度肯定要比正常的电脑端训练的大网络低一些，在所难免] [一般的训
5种小型设备上深度学习推理的高效算法
AI科技大本营
11-22 1143
作者 |James Le译者 |陆离编辑 | Jane出品 | AI科技大本营（ID：rgznai100）【导读】文中为AI实践者和研究者们介绍了5种高效模型推断算法，希望这篇文章能够帮助大家更清楚地认识到，在我们所使用的深度学习库的背后，有多少优化正在被应用，从而在像移动电话等小型边缘设备上实现越来越多的实际应用。随着深度学习的快速发展，神经网络的规模也变得越来越大。例如，在ImageNet...
（笔记）神经网络压缩，Ristretto: Hardware-Oriented Approximation of Convolutional Neural Networks（一）
yingpeng_zhong的博客
10-14 2713
目录目录 原文 简要介绍 摘要 原文paper: http://lepsucd.com/wp-content/uploads/2015/08/Thesis_Philipp_Gysel.pdf code: https://github.com/MichalBusta/Ristretto-caffe/commit/55c64c202fc8fca875e108b48c13993b7fdd0f63 20
神经网络压缩 (总结6)
一行一生
05-15 5121
神经网络压缩 1.1神经网络压缩的必要性与可能性 深度学习的实际应用往往受限于其存储和运算规模。例如,VGG-16网络含有约1.4亿浮点数参数,假设每个参数存储为32位浮点数格式,则整个网络需要占用超过500兆存储空间。在运算时,单张测试图片共需要大约3.13 × 10 8 次浮点数运算...
【深度神经网络压缩】Deep Compression （ICLR2016 Best Paper）
AutoVision (by 仙道菜)
06-19 2万+
做过深度学习的应该都知道，NN大法确实效果很赞，在各个领域轻松碾压传统算法，不过真正用到实际项目中却会有很大的问题： 1. 计算量非常巨大；2. 模型特别吃内存；怎么办？使用网络压缩技术咯！《Deep Compression》 是 ICLR 2016 Best Paper，将AlexNet从200MB压缩到6.9MB，而且不降低准确率！
Trained CKPTs是什么意思
最新发布
06-06
Trained CKPTs是指经过训练的模型文件，通常用于机器学习和深度学习等领域。在机器学习中，我们需要将训练数据输入到算法模型中进行训练，训练完成后，会生成一个训练好的模型，这个模型就是Trained CKPTs。在使用这...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值