INCREMENTAL NETWORK QUANTIZATION: TOWARDS LOSSLESS CNNS WITH LOW-PRECISION WEIGHTS

最新推荐文章于 2020-09-01 23:57:09 发布
最新推荐文章于 2020-09-01 23:57:09 发布
阅读量351 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JachinMa/article/details/103987528
版权

在量化方面已经有很多工作了，其中一个是用每个FC层的浮点的聚类中心值来代替所有权重值，可以获得20X的压缩率，以及在top-上1%的精度损失；hash网则将所有权重放入哈希桶内，且所有共享哈希桶的权重共享一个单精度值。但它只考虑了几种浅层网络的FC层；还有人提出了将剪枝、量化和霍夫曼编码结合的方法；还有人使用16位精度的权重来代替32位精度的权重来训练网络；之后还有EBP，它在推断的前向传播过程中，将其随机地转化为±1的形式；BinaryConnect进一步拓展了这个做法：它有两套网络权重，浮点型的和binary型的。浮点型的作为权重二元化的参考；另外还有BNN、异或网、TWN、124网和QNN（它将权值分块后聚类）。

但还是有两个问题没有解决：降低的精度，和为了收敛而增加的训练迭代次数。

inq并不需要特殊的网络架构，它是一套训练方法，可以应用到任何一个预先训练好的CNN网络上。它总共分为三个部分：权重划分、逐组量化和重新训练。它将每一层的未量化的权重每次分为保持原样的和被量化的两部分，然后重新训练未被量化的权重，以弥补由量化导致的精度损失。如此重复，直到所有的权重都被量化完成。

在这里插入图片描述
量化后的权重值将从

最低0.47元/天 解锁文章
JachinMa
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
神经网络压缩（8）Incremental Network Quantization: Towards Lossless CNNs with Low-precision Weights
cookie_234的博客
07-19 8148
Incremental Network Quantization: Towards Lossless CNNs with Low-precision WeightsIntro英特尔中国研究院：INQ神经网络无损低比特量化技术 给定任意结构的全精度浮点神经网络模型，能将其转换成无损的低比特二进制模型
增量量化网络：towards lossless CNNs with low-precision weights
langzi453的博客
02-10 1031
这篇文章的内容属于模型压缩范畴中权值的量化、共享。传统的权值量化存在两个不可忽视的问题： non-negligiable accuracy loss the increased number of training iterations for ensuring convergence 这篇文章认为这些应该归结为传统的方法都试图一次性的去量化网络，俗语说“心急吃不了热豆腐”。针对这个问题，文章...
markdown-it-incremental-dom：使用增量DOM的markdown-it渲染器插件
02-04
降价递增 使用渲染器插件。 让我们看看主要功能： : 或 需求 > = 4.0.0（推荐最新版本> = 8.4.0，此插件使用它） > = 0.5.x 例子 节点 import * as IncrementalDOM from 'incremental-dom' import MarkdownIt from 'markdown-it' import MarkdownItIncrementalDOM from 'markdown-it-incremental-dom' const md = new MarkdownIt ( ) . use ( MarkdownItIncrementa
Incremental network quantization: towards lossless CNNs with low-precision weights
mizhenpeng的博客
09-20 1290
  Intel 中国研究院出品，论文链接：https://arxiv.org/abs/1702.03044 1、本文概述 本文提出了一种新的用于压缩神经网络的量化方法—— INQ (Incremental network quantization)。该方法可以将全精度 CNN 转化为低精度网络，在不损失甚至提高精度的情况下，使得权重均为 0 或 2 的幂次（在 FPGA 等嵌入式设备上可以进...
Incremental Network Quantization: Towards Lossless CNNs with Low-precision Weights论文
qq_35608277的博客
03-16 459
英特尔中国研究院 现有的量化压缩方法有两点不足：1.量化过程中的精度损失仍然不可忽视；2.大多数量化压缩方法只适用于处理特定的模型结构和特定类型的层，一定程度限制了泛化能力和量化压缩的性能（这里指的是很多方法对fc层的压缩比较有效，最终得到的比较大的压缩率很大一部分贡献是fc）；另外还有重训练时间长等问题； INQ (Incremental network quantization)。該方法可以將...
【论文阅读笔记】Incremental Network Quantizatio：Towards Lossless CNNs with Low-Precision Weights
时光机 °的博客
10-03 703
全文概括   先前的量化方法（同时量化所有的weight）都太粗暴了，这导致了量化损失严重，作者提出一种分组量化-分组re-train的方法来拟补量化带来的损失。   INQ方法步骤： 将为量化的参数分成 待量化/待re-train组(用超参数定义每次量化的百分比，百分比会自动在参数中找到一个临界点，绝对值大于这个临界点的分为待量化组 ，因为作者认为大值比小值重要，让小的re-train。这个观...
INQ 论文解读：Incremental Network Quantization: Towards Lossless CNNs with Low-Precision Weights
菩提本无树，明镜亦非台，本来无一物，何处惹尘埃
09-01 629
这篇论文是ICLR 2017的一篇量化相关的论文。本文提出了一种渐进式量化的方法（ INQ ）：先分组量化，然后冻结已量化的部分并训练未量化的部分，重复以上步骤多次直到所有权重都被量化。这种渐进式量化的方法可以把一个预训练的全精度模型近乎无损地压缩成一个低精度的模型，在Alexnet，VGG，ResNet等模型上都表现良好，甚至可以压缩成三值模型，精确度比TWN等方法都要好。 论文原地址：https://arxiv.org/abs/1702.03044v2点我下载论文 更多论文解读欢迎来访我的博客：
（摘要）ICLR 2017 神经网络压缩，Incremental Network Quantization: Towards Lossless CNNs with Low-Precision Weig
yingpeng_zhong的博客
10-08 1815
目录 目录 原文 摘要 原文原文：https://arxiv.org/abs/1702.03044 代码：https://github.com/Zhouaojun/Incremental-Network-Quantization摘要Incremental Network Quantization(INQ)是一种神经网络压缩方法。它以已训练的任意全精度网络作为输入，输出权值为0或2的整数次幂的网络
INQ(incremental network quantization：towards lossless CNNs with low-precision weights
CV_RC的博客
10-01 1648
incremental network quantization：towards lossless CNNs with low-precision weights 实验前提：a.一个预训练的模型，模型已收敛                 b.训练这个模型训练集，验证集，测试集 大体三个步骤：weights partition、group-wise quantization 、re-
gitflow-incremental-builder:一个Maven扩展，用于在使用Git Flow（或一般而言，Git）时以增量方式构建多模块项目
04-16
gitflow增量生成器（GIB） 使用时用于增量构建多模块项目的Maven扩展。 与Git中的参考分支（例如Origin / develop）及其所有从属相比，构建或测试仅更改了Maven模块。 由。 此扩展不限于Git Flow设置！...
maven-shared-incremental-1.1.jar
01-15
maven-shared-incremental-1.1.jar
incremental-reading:Anki附加组件提供增量阅读功能
05-09
2021年项目状态：积极的开发工作将于2月27日（星期六）恢复。Anki的增量阅读 注意：附加组件的版本4仅适用于Anki 2.1+。 早期版本中将缺少某些功能。介绍这是对的重写，该旨在提供支持Anki中增量阅读的功能。...
incremental-development:了解如何计划和组织您的开发过程
04-27
增量发展| “几乎所有的敏捷团队都喜欢一种渐进式的开发策略；在敏捷的上下文中，这意味着该产品的每个后续版本都是可用的，并且每个版本都通过添加用户可见的功能建立在先前版本的基础上。”增量开发是一种用于开发...
1235012013杨铭.zip
05-31
1235012013杨铭.zip
vue项目实战Vue实战项目篇源码.zip
05-31
vue项目实战Vue实战项目篇源码.zip Vue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zipVue实战项目篇源码.zi
NX二次开发uc4400 函数介绍
05-31
NX二次开发uc4400 函数介绍，Ufun提供了一系列丰富的 API 函数，可以帮助用户实现自动化、定制化和扩展 NX 软件的功能。无论您是从事机械设计、制造、模具设计、逆向工程、CAE 分析等领域的专业人士，还是希望提高工作效率的普通用户，NX 二次开发 Ufun 都可以帮助您实现更高效的工作流程。函数覆盖了 NX 软件的各个方面，包括但不限于建模、装配、制图、编程、仿真等。这些 API 函数可以帮助用户轻松地实现自动化、定制化和扩展 NX 软件的功能。例如，用户可以通过 Ufun 编写脚本，自动化完成重复性的设计任务，提高设计效率；或者开发定制化的功能，满足特定的业务需求。语法简单易懂，易于学习和使用。用户可以快速上手并开发出符合自己需求的 NX 功能。本资源内容 提供了丰富的中英文帮助文档，可以帮助用户快速了解和使用 Ufun 的功能。用户可以通过资源中的提示，学习如何使用 Ufun 的 API 函数，以及如何实现特定的功能。
基于Java的二手书交易微信小程序源码.zip
05-31
提供的源码资源涵盖了安卓应用、小程序、Python应用和Java应用等多个领域，每个领域都包含了丰富的实例和项目。这些源码都是基于各自平台的最新技术和标准编写，确保了在对应环境下能够无缝运行。同时，源码中配备了详细的注释和文档，帮助用户快速理解代码结构和实现逻辑。 适用人群： 这些源码资源特别适合大学生群体。无论你是计算机相关专业的学生，还是对其他领域编程感兴趣的学生，这些资源都能为你提供宝贵的学习和实践机会。通过学习和运行这些源码，你可以掌握各平台开发的基础知识，提升编程能力和项目实战经验。 使用场景及目标： 在学习阶段，你可以利用这些源码资源进行课程实践、课外项目或毕业设计。通过分析和运行源码，你将深入了解各平台开发的技术细节和最佳实践，逐步培养起自己的项目开发和问题解决能力。此外，在求职或创业过程中，具备跨平台开发能力的大学生将更具竞争力。 其他说明： 为了确保源码资源的可运行性和易用性，特别注意了以下几点：首先，每份源码都提供了详细的运行环境和依赖说明，确保用户能够轻松搭建起开发环境；其次，源码中的注释和文档都非常完善，方便用户快速上手和理解代码；最后，我会定期更新这些源码资源，以适应各平台技术的最新发展和市场需求。
Highlight Plus 2D 3.5.2
最新发布
05-31
Highlight Plus 2D为2D或3D场景中的任何精灵添加轮廓、发光、透明、叠加、阴影和缩放效果。 Highlight Plus 2D的设计考虑了平台兼容性和性能： 兼容Mac、Windows、安卓、iOS、WebGL。 兼容内置、URP（正向和2D渲染器）和HDRP管道。 兼容VR（多通道和单通道）。 移动设备上运行速度超快。 ** 视觉特征 ** - 发光颜色、宽度、alpha、动画速度、抖动、多色。 - 轮廓颜色、阿尔法通道和宽度。 - 叠加颜色、阿尔法通道和动画速度。 - 透明效果强度、色调和alpha。 - 击打/闪光效果，具有自定义颜色、强度和淡出持续时间。 - 悬停时缩放。 - 2D和3D阴影。 **其他功能** - 使用带有SpriteRenderer组件的单个和基于图集的精灵。 - 适用于四边形游戏对象（具有纹理的四边形）。 - 与基于Spine的动画网格渲染器一起使用。 - 支持动画（SpriteSkin），变换和自定义轴心。 - 预览效果在编辑器中（无需进入播放模式）。 - 将单个或一组子图形高亮显示为单个对象。
使用xtrabackup2.4.28版本对MySQL恢复时，执行innobackupex --apply-log --redo-log /backup/2023-07-16_23-08-34/ --incremental-dir=/backup/--incremental-basedir出现xtrabackup: error: applying incremental backup needs target prepared with --apply-log-only.
07-17
根据您提供的信息，您在使用xtrabackup 2.4.28版本对MySQL进行恢复时遇到了问题。具体地，您执行了以下命令： ``` innobackupex --apply-log --redo-log /backup/2023-07-16_23-08-34/ --incremental-dir=/backup/--incremental-basedir ``` 并且遇到了以下错误： ``` xtrabackup: error: applying incremental backup needs target prepared with --apply-log-only. ``` 这个错误提示表明，在应用增量备份之前，需要先使用 `--apply-log-only` 选项准备目标。这是因为增量备份需要基于先前的全量备份进行恢复。 您可以尝试按照以下步骤进行操作： 1. 使用 `--apply-log-only` 选项准备主备份目录： ``` innobackupex --apply-log-only /backup/2023-07-16_23-08-34/ ``` 2. 使用 `--apply-log` 选项应用增量备份： ``` innobackupex --apply-log --redo-log /backup/2023-07-16_23-08-34/ --incremental-dir=/backup/--incremental-basedir ``` 这样应该可以解决您遇到的错误。如果问题仍然存在，请提供更多详细信息，以便我能够更好地帮助您解决问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值