（笔记）细颗粒度的三值网络Ternary Neural Networks with Fine-Grained Quantization

最新推荐文章于 2024-08-23 08:45:47 发布
最新推荐文章于 2024-08-23 08:45:47 发布
阅读量2.1k 收藏 1
点赞数 1
分类专栏： 深度学习量化 文章标签： 深度学习 压缩 量化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yingpeng_zhong/article/details/80548183
版权
该博客介绍了无需训练的三值神经网络（Ternary Neural Networks）方法，通过8/4位激活函数实现权重量化。文章详细阐述了如何将32位浮点权重转化为{-α, 0, α}，并分析了最佳的分组策略。实验结果显示，使用该方法在ResNet-101和ResNet-50上仅导致Top1准确率轻微下降，且简化了硬件实现。" 8530976,512944,Oracle EBS自动化测试：OpenScript详解,"['Oracle 应用测试套件', '自动化测试工具', 'OpenScript', 'EBS自动化', 'Java 脚本']
摘要由CSDN通过智能技术生成

原文链接

https://arxiv.org/abs/1705.01462

摘要

提出一种三值化方法，激活函数是8/4bit的，不需要训练，对N个权重量化到三值 ，N=2,4,8,16等等。当N=4时，ResNet-101和ResNet-50的Top1准确率分别下降3.7%和4.2%。

方法

目的：不训练地，把32bit浮点权重 W W 量化为 { − α , 0 , α } 。
基于阈值

最低0.47元/天 解锁文章
yingpeng_zhong
关注
专栏目录
Ternary weight networks
holmosaint的博客
09-06 738
这篇文章开发了一种新型的网络结构——ternary nearal networks(TWNs)。该网络所有的权值被限制在1，0，-1之中，只需要2-bit来存储权值信息。TWNs和全精度的网络之间的欧氏距离确保是最小的，为了高效地实现这一点，文章中使用了一个threshold-based function来近似。 在性能方面，TWNs比起binary precision有更强大的描述性；同时和全...
（笔记）网络压缩量化，训练三值量化TRAINED TERNARY QUANTIZATION
yingpeng_zhong的博客
05-20 3790
原文链接： 摘要 方法 实验效果 讨论 原文链接： https://arxiv.org/abs/1612.01064 摘要 提供一个三值网络的训练方法。对AlexNet在ImageNet的表现，相比32全精度的提升0.3%。 方法 对于每一层网络，三个值是32bit浮点的{−Wnl,0,Wpl}{−Wln,0,Wlp}\{-W^n_l, 0 , W^p_l\}，...
Ternary Neural Networks with Fine-Grained Quantization
langzi453的博客
02-15 386
这篇文章主要针对以往三值量化一刀切的粗暴“量化”方式提出“细粒度”量化的想法。 文章目的将现有的网络不经训练地转化为三值网络，且激活函数8bit/4bit的。 相对于前人的工作，这篇文章的创新点在于Weight Grouping上。 3.1说应该将weights分为正交的子集。 3.2说3.1太麻烦了，直接按照顺序分成子集就好，真是纠结的一篇文章啊。   效果上，作者给出的字面数据...
训练的三值量化(Ternary Quantization)开源项目教程
最新发布
gitblog_00909的博客
08-23 395
训练的三值量化(Ternary Quantization)开源项目教程 trained-ternary-quantization项目地址:https://gitcode.com/gh_mirrors/tr/trained-ternary-quantization 项目介绍 训练的三值量化（Trained Ternary Quantization, TTQ）是一种深度学习模型压缩技术，由Trop...
权值简化（1）：三值神经网络（Ternary Weight Networks）
XJTU_NOC_Wei的博客
10-19 9282
三值神经网络： 本文是对中科院两位科研工作者的文章的理解翻译：     就目前而言，深度神经网络的层数和训练时间变得越来越多。一方面，人们想要在处理器上面下功夫，但是处理器的处理速度也十分有限。造成目前一个比较深的神经网络的训练时间有时候往往需要一到两周，基于目前的困难，就有人提出了解决方式。     首先，在神经网络训练的整个训练过程中，最占用时间的无疑是乘法操作。是浮点型数据的乘法尤其消
三值网络--Trained Ternary Quantization
AI小作坊 的博客
05-08 1691
Trained Ternary Quantization ICLR 2017 https://github.com/TropComplique/trained-ternary-quantization pytorch https://github.com/buaabai/Ternary-Weights-Network pytorch 传统的二值网络将权重 W 量化为 +1、-1； 三值网络 ...
三值神经网络
wsq520521的专栏
04-06 1777
权重压缩：三值神经网络 背景 卷积神经网络（Convolutional Neural Network，CNN）尤其适合于目标识别、分类、检测及图像分割等计算机视觉应用。 典型的模型有数百万参数并运算量大；例如，AlexNet有6100万参数（浮点数权值共占用249MB存储空间），分类一张图片需要15亿高精度运算。 所以为降低CNN规模和使用资源，现在有模型修剪（model pruning，去掉值较...
The Rh influence on the surface distribution of the ternary alloy Pt-Pd-Rh
01-09
The Rh influence on the surface distribution of the ternary alloy Pt-Pd-Rh，陈羽，，Using the modified analytical embedded atom method (MAEAM) and combining with Monte Carlo computer simulation, the ...
CNN模型压缩总结
qq_23546067的博客
12-20 2415
CNN模型压缩总结 总结综述 参考：https://blog.csdn.net/shentanyue/article/details/83508497 模型裁剪/剪枝（Pruning） 单个权重(Weight)剪枝——非结构化 定义：任意权重被看作是单个参数并进行随机非结构化剪枝。 缺点： 导致网络连接不规整，需要通过稀疏表达来减少内存占用，进而导致在前向传播时，需要大量条件判断和额外空间来...
Ternary weight networks 论文笔记
Jayxbx的博客
06-06 3500
0 摘要
神经网络模型压缩方法讲解二值三值DNS\INQ等
04-17
模型压缩ppt的总结，可以作为粗略的一个概述，很精炼。
Phase Equilibrium of Ternary System NH4Cl-CaCl2-H2O at 25℃, 50℃ and 75℃
03-03
NH4Cl-CaCl2-H2O 三元体系在25℃, 50℃ 和75℃下的相平衡研究，袁俊生，张继军，采用湿渣法测定了NH4Cl-CaCl2-H2O三元体系在25℃, 50℃和75℃下的相平衡数据。 实验结果表明：在25℃的相图中存在NH4Cl 和 CaCl2•6...
GXNOR-Net：在统一离散化框架下，通过三元权重和激活来训练深层神经网络，而无需完整的内存
03-14
尽管深度神经网络（DNN）是打开AI时代的革命力量，但是众所周知，巨大的硬件开销挑战了它们的应用。... 更具体地说，我们发现，当权重和激活都变为三进制值时，由于仅发生非零权重和非零激活事件，DNN可以
ternary-balance::balance_scale:Python求解器来解决平衡问题
03-30
三元平衡系统 ... from ternary_balance . solver import ternary_balance solver = ternary_balance () solver . solve () 许多查询： from ternary_balance . solver import ternary_balance sol
三值光计算机百位量级解码器的设计
02-10
提出了一种用半反半透平面镜、检偏器、微透镜阵列、二维并行光电二极管阵列探测器、SRAM存储器阵列和嵌入式系统构建三值光学解码器的方法，实现将三值光学运算器的运算结果从二维线偏振光信号并行转换为三值电信号。...
模型量化--TBN:Convolutional Neural Network with Ternary Inputs and Binary Weights
AI小作坊 的博客
11-01 672
TBN:Convolutional Neural Network with Ternary Inputs and Binary Weights ECCV_2018 paper TBN 用 高效的 XOR, AND 及位运算 代替 传统CNN 中的 算术运算 TBN replaces the arithmetical operations in standard CNNs with efficie...
【Paper Reading】TTQ三值网络
小铁匠的博客
04-24 895
TRAINED TERNARY QUANTIZATION 2017 ICLR 清华 斯坦福 摘要 提出一种将神经网络进行三值量化的方法，该方法精度下降很小，甚至可以提高某些模型的精度，32、44、56层ResNet在CIFAR-10上和ImageNet上的AlexNet。在推理过程中，只需要三元值(2bit权值)和比例因子，因此我们的模型比全精度模型小将近16倍。三元模型也可以看作是稀疏的二元权值...
【论文笔记】Fine-Grained Segmentation Networks: Self-Supervised Segmentation for Improved Long-Term Visual
phy12321的博客
09-20 876
针对视觉定位的语义分割网络, ICCV 2019 论文工作的动机： using more segmentation labels to create more discriminative, yet still robust, representations for semantic visual localization 本文主要针对Long-term的视觉定位任务，提出了一个精细化分割网络，可以对场景进行精细化fine-grained的分割，得到相比于现有语义分割网络的分.
百位量级三值光计算机解码器设计与实验
本文主要探讨了三值光计算机的一种关键组件——百位量级解码器的设计与实现。该研究者提出了一个创新的设计方案，利用半反半透平面镜、检偏器、微透镜阵列、二维并行光电二极管阵列探测器、静态随机存取存储器(SRAM)...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值