（笔记）细颗粒度的三值网络Ternary Neural Networks with Fine-Grained Quantization

最新推荐文章于 2025-02-08 14:11:37 发布
最新推荐文章于 2025-02-08 14:11:37 发布
阅读量2.2k 收藏 1
点赞数 1
分类专栏： 深度学习量化 文章标签： 深度学习 压缩 量化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yingpeng_zhong/article/details/80548183
版权
该博客介绍了无需训练的三值神经网络（Ternary Neural Networks）方法，通过8/4位激活函数实现权重量化。文章详细阐述了如何将32位浮点权重转化为{-α, 0, α}，并分析了最佳的分组策略。实验结果显示，使用该方法在ResNet-101和ResNet-50上仅导致Top1准确率轻微下降，且简化了硬件实现。" 8530976,512944,Oracle EBS自动化测试：OpenScript详解,"['Oracle 应用测试套件', '自动化测试工具', 'OpenScript', 'EBS自动化', 'Java 脚本']

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

原文链接

https://arxiv.org/abs/1705.01462

摘要

提出一种三值化方法，激活函数是8/4bit的，不需要训练，对N个权重量化到三值 ，N=2,4,8,16等等。当N=4时，ResNet-101和ResNet-50的Top1准确率分别下降3.7%和4.2%。

方法

目的：不训练地，把32bit浮点权重 W W 量化为 { − α , 0 , α } 。
基于阈值

最低0.47元/天 解锁文章
The Rh influence on the surface distribution of the ternary alloy Pt-Pd-Rh
01-09
The Rh influence on the surface distribution of the ternary alloy Pt-Pd-Rh，陈羽，，Using the modified analytical embedded atom method (MAEAM) and combining with Monte Carlo computer simulation, the ...
神经网络模型压缩方法讲解二值三值DNS\INQ等
04-17
模型压缩ppt的总结，可以作为粗略的一个概述，很精炼。
Ternary weight networks
holmosaint的博客
09-06 780
这篇文章开发了一种新型的网络结构——ternary nearal networks(TWNs)。该网络所有的权值被限制在1，0，-1之中，只需要2-bit来存储权值信息。TWNs和全精度的网络之间的欧氏距离确保是最小的，为了高效地实现这一点，文章中使用了一个threshold-based function来近似。 在性能方面，TWNs比起binary precision有更强大的描述性；同时和全...
Ternary Neural Networks with Fine-Grained Quantization
langzi453的博客
02-15 411
这篇文章主要针对以往三值量化一刀切的粗暴“量化”方式提出“细粒度”量化的想法。 文章目的将现有的网络不经训练地转化为三值网络，且激活函数8bit/4bit的。 相对于前人的工作，这篇文章的创新点在于Weight Grouping上。 3.1说应该将weights分为正交的子集。 3.2说3.1太麻烦了，直接按照顺序分成子集就好，真是纠结的一篇文章啊。   效果上，作者给出的字面数据...
【科普向】模型蒸馏和模型量化到底是什么？？？
最新发布
qq_44373268的博客
02-08 951
但是，如果你只是做一顿家常便饭，实际上并不需要这么高的精度，你可以使用一个简单又便宜的秤，最小刻度是1克，虽然不那么精确，但是足以用来做一顿美味的晚餐。量化是一种将较大尺寸的模型（如 LLM 或任何深度学习模型）压缩为较小尺寸的方法，比如最开始训练出的权重是32位的浮点数，但是实际使用发现用16位来表示也几乎没有什么损失，但是模型文件大小降低一般，显存使用降低一半，处理器和内存之间的通信带宽要求也降低了，这意味着更低的成本、更高的收益。：在量化过程中，缩放值将原始张量的值缩小以获得量化后的张量。
权值简化（1）：三值神经网络（Ternary Weight Networks）
XJTU_NOC_Wei的博客
10-19 9567
三值神经网络： 本文是对中科院两位科研工作者的文章的理解翻译：     就目前而言，深度神经网络的层数和训练时间变得越来越多。一方面，人们想要在处理器上面下功夫，但是处理器的处理速度也十分有限。造成目前一个比较深的神经网络的训练时间有时候往往需要一到两周，基于目前的困难，就有人提出了解决方式。     首先，在神经网络训练的整个训练过程中，最占用时间的无疑是乘法操作。是浮点型数据的乘法尤其消
三值网络--Trained Ternary Quantization
AI小作坊 的博客
05-08 1781
Trained Ternary Quantization ICLR 2017 https://github.com/TropComplique/trained-ternary-quantization pytorch https://github.com/buaabai/Ternary-Weights-Network pytorch 传统的二值网络将权重 W 量化为 +1、-1； 三值网络 ...
三值神经网络
wsq520521的专栏
04-06 1841
权重压缩：三值神经网络 背景 卷积神经网络（Convolutional Neural Network，CNN）尤其适合于目标识别、分类、检测及图像分割等计算机视觉应用。 典型的模型有数百万参数并运算量大；例如，AlexNet有6100万参数（浮点数权值共占用249MB存储空间），分类一张图片需要15亿高精度运算。 所以为降低CNN规模和使用资源，现在有模型修剪（model pruning，去掉值较...
脉冲神经网络入门指南（四）Training Spiking Neural Networks-反向传播方式【文献精读】
qq_22841387的博客
05-20 2851
Heaviside 算子Hx0ifx01ifx≥0Hx01​ifx0ifx≥0​它的作用是将输入信号根据某个阈值进行二值化处理。可以理解为一个开关，当输入信号达到或超过某个阈值时，开关“打开”，输出1；否则开关“关闭”，输出0。在脉冲神经网络中，Heaviside 算子用于模拟神经元的发放行为。StHUt−θStHUt−θ其中UtU(t)Ut是膜电位，θ\thetaθ是发放阈值，StS(t)St是脉冲信号。
文献阅读 - Binarized Neural Networks
Always On The Way
06-06 961
Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 M. Courbariaux M, et al., Binarized Neural Networks: Training Deep Neural Networks with W...
（笔记）网络压缩量化，训练三值量化TRAINED TERNARY QUANTIZATION
yingpeng_zhong的博客
05-20 3848
原文链接： 摘要 方法 实验效果 讨论 原文链接： https://arxiv.org/abs/1612.01064 摘要 提供一个三值网络的训练方法。对AlexNet在ImageNet的表现，相比32全精度的提升0.3%。 方法 对于每一层网络，三个值是32bit浮点的{−Wnl,0,Wpl}{−Wln,0,Wlp}\{-W^n_l, 0 , W^p_l\}，...
模型量化--TBN:Convolutional Neural Network with Ternary Inputs and Binary Weights
AI小作坊 的博客
11-01 711
TBN:Convolutional Neural Network with Ternary Inputs and Binary Weights ECCV_2018 paper TBN 用 高效的 XOR, AND 及位运算 代替 传统CNN 中的 算术运算 TBN replaces the arithmetical operations in standard CNNs with efficie...
【Paper Reading】TTQ三值网络
小铁匠的博客
04-24 950
TRAINED TERNARY QUANTIZATION 2017 ICLR 清华 斯坦福 摘要 提出一种将神经网络进行三值量化的方法，该方法精度下降很小，甚至可以提高某些模型的精度，32、44、56层ResNet在CIFAR-10上和ImageNet上的AlexNet。在推理过程中，只需要三元值(2bit权值)和比例因子，因此我们的模型比全精度模型小将近16倍。三元模型也可以看作是稀疏的二元权值...
【论文笔记】Fine-Grained Segmentation Networks: Self-Supervised Segmentation for Improved Long-Term Visual
phy12321的博客
09-20 937
针对视觉定位的语义分割网络, ICCV 2019 论文工作的动机： using more segmentation labels to create more discriminative, yet still robust, representations for semantic visual localization 本文主要针对Long-term的视觉定位任务，提出了一个精细化分割网络，可以对场景进行精细化fine-grained的分割，得到相比于现有语义分割网络的分.
Trained Ternary Quantization
JachinMa的博客
02-10 469
本文是在TWQ(Ternary Weight Quantization)的基础上做出的改进，其流程可以简单概括为： 首先将全精度权重正则化到[-1,1]之间，然后根据一个每层相同的阈值t来进行量化(这里使用统一的t是为了缩小搜索空间，用每个通道不同的t应该能得到更好的表现，但感觉会增加过多的计算消耗)为-1，0和1，最后分别乘以Wn和Wp作为结果计算loss，再通过梯度下降更新Wn、Wp和原始梯...
Trained Ternary Quantization (TTQ)：深度学习模型的轻量化利器
gitblog_00797的博客
09-25 570
Trained Ternary Quantization (TTQ)：深度学习模型的轻量化利器 ternarynet Implementation for Trained Ternary Network. 项目地址: https:...
【论文阅读笔记】Trained Ternary Quantization
时光机 °的博客
11-13 1796
论文发布时间：2016-12 论文地址：https://arxiv.org/pdf/1612.01064.pdf 全文概括   TTQ只量化权重，该方法将权重量化成三元，即2-bit。   与其他方法不同的是，该方法的尺度因子更具有“包容性”，不是某层权重元素绝对值的均值αl=∑∣w∣countl\alpha_l=\sum\frac{|w|}{count_l}αl​=∑countl​∣w∣​，而是...
训练 ternary 量化 (Trained Ternary Quantization) 项目指南
gitblog_00715的博客
08-23 288
训练 ternary 量化 (Trained Ternary Quantization) 项目指南 trained-ternary-quantization项目地址:https://gitcode.com/gh_mirrors/tr/trained-ternary-quantization 本指南将带领您深入了解 训练 ternary 量化 这一开源项目，旨在帮助您快速上手并理解其核心组件。以下...
百位量级三值光计算机解码器设计与实验
本文主要探讨了三值光计算机的一种关键组件——百位量级解码器的设计与实现。该研究者提出了一个创新的设计方案，利用半反半透平面镜、检偏器、微透镜阵列、二维并行光电二极管阵列探测器、静态随机存取存储器(SRAM)...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值