![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
神经网络量化
文章平均质量分 93
AI异构
博士在读,关注人工智能,异构计算相关内容,不定期更新文章~
展开
-
AdaQuant:改进训练后神经网络量化:分层校准和整数编程
AdaQuant:改进训练后神经网络量化:分层校准和整数编程摘要方法AdaQuant:在校准数据集上的逐层量化校验集的大小Integer Programming:实现每层的比特分配基本公式Batch-Norm Tuning重构BN层重新融合BN层偏置调整Quantization Flow实验结果AdaQuantInteger ProgrammingBatch-Norm TuningFull pipeline and ablation study本文是以色列理工学院与英特尔联合提出的基于PTQ的神经网络量原创 2021-03-27 13:57:47 · 1643 阅读 · 0 评论 -
AdaRound:训练后量化的自适应舍入
AdaRound:训练后量化的自适应舍入摘要贡献动机方法基于任务损失的 Rounding从泰勒展开到局部损失AdaRound实验消融实验From task loss to local lossDesign choices for AdaRoundOptimization using STEInfluence of quantization gridOptimization robustness to data对比试验个人总结与思考本文是高通AI研究院发表在ICML 2020上的一篇 PTQ 文章。根据泰勒原创 2021-03-11 15:16:39 · 2517 阅读 · 3 评论 -
APQ:联合搜索网络架构、剪枝和量化
APQ:联合搜索网络架构、剪枝和量化摘要动机联合优化策略细粒度通道剪枝的 OFA 网络Once-For-All 网络的搜索空间Once-For-All 网络的属性面向量化的精度预测器体系结构和量化策略编码精度预测器预测器转移到量化模型面向硬件的进化搜索测量延迟和能量资源受限的进化搜索实现细节量化感知精度预测器的数据准备进化架构搜索量化实验结果与SOTA高效模型的比较联合设计的有效性与MobileNetV2+HAQ对比与多阶段优化和BitOps对比预测器-转移的有效性本文为韩松团队发表在 ICCV 202原创 2020-12-27 22:37:52 · 1483 阅读 · 0 评论 -
HAQ:硬件感知的自动混合精度量化系统
HAQ:硬件感知的自动混合精度量化系统摘要方法整体量化框架状态空间(Observation & State)卷积层全连接层动作空间(Action Space)量化方法奖赏函数(Reward Function)RL AgentQ-functionloss function实验结果面向边缘与云端的量化结果延时约束与能量约束下的量化结果模型大小约束下的量化结果本文是MIT韩松团队发表在 CVPR 2019 Oral 上的论文,本文提出了一种基于强化学习策略的自动化的量化框架,并将硬件架构包含在循环中,原创 2020-12-13 17:01:16 · 2595 阅读 · 0 评论 -
HAWQ-V2:基于Hessian迹的混合比特量化策略
HAWQ-V2:基于Hessian迹的混合比特量化策略摘要方法自动化的位宽选择Hutchinson快速求解Hessian迹敏感度指标分析激活的混合精度量化实验结果ResNet50 on ImageNetInception-V3 on ImageNetSqueezeNext on ImageNetRetinaNet-ResNet50 on COCO消融实验本文为 UC Berkeley 大学发表在 NeurIPS 2020 上的混合精度量化论文,是之前 HAWQ 论文的升级版本。论文题目:HAWQ-原创 2020-12-06 11:29:04 · 1573 阅读 · 0 评论 -
HAWQ:基于 Hessian 的混合精度神经网络量化
HAWQ:基于 Hessian 的混合精度神经网络量化摘要动机方法海森方法的有效性分析海森矩阵方法推导根据幂迭代求海森矩阵的最大特征值根据海森矩阵最大特征值确定量化精度与顺序实验结果ResNet20 On CIFAR-10ResNet50 on ImageNetSqueezeNext on ImageNetInception-V3 on ImageNet消融实验海森混合精度量化的有效性Block-Wise微调的有效性本文为 UC Berkeley 大学发表在 ICCV 2019上的混合精度量化论文。旨在原创 2020-11-28 17:46:41 · 2886 阅读 · 0 评论 -
Bi-Real-Net:通过改进表示能力和训练算法提高1-bit CNNs性能
Bi-Real-Net:通过改进表示能力和训练算法提高1-bit CNNs性能动机方法短接嵌入实数值信息二值参数与激活值更新策略拟合激活值反向更新参数二值添加缩放因子Clip 函数替换 ReLU 函数实验结果消融实验对比试验本文由香港科技大学,腾讯 AI lab,以及华中科技大学合作完成,文章发表在 ECCV2018 会议。目的是提升二值化卷积神经网络(1-bit CNN)的精度。虽然 1-bit CNN 压缩程度高,但是其当前在大数据集(如 ImageNet )上的分类精度与对应的实值 CNN 相比有原创 2020-11-22 19:40:45 · 725 阅读 · 0 评论 -
Additive Powers-of-Two (APoT) Quantization:硬件友好的非均匀量化方法
Additive Powers-of-Two Quantization:硬件友好的非均匀量化方法摘要方法Additive Powers-of-Two量化 (APoT)量化表示均匀量化表示Powers-of-Two (PoT) 量化表示Additive Powers-of-Two(APoT)量化表示参数化Clipping函数 (RCF)权重归一化APoT量化伪代码实验结果CIFAR-10ImageNet本文是电子科大&哈佛大学&新加坡国立联合发表在 ICLR2020 上的一篇非均匀量化(A原创 2020-10-07 16:27:59 · 2763 阅读 · 1 评论 -
GDFQ:基于Data-Free的低比特量化方法
GDFQ:基于Data-Free的低比特量化方法动机方法知识匹配生成器低位宽量化训练过程训练生成器G训练量化模型Q实验结果评估G生成的伪数据是否能够匹配分类边界信息数据集 4-bit 精度比较消融实验本文是华南理工大学的一个团队发表在ECCV2020上的基于生成器的低比特无数据量化(GDFQ)工作。为消除数据依赖问题,GDFQ利用知识匹配生成器以利用预训练全精度模型的分类边界知识与分布信息生成有意义的假数据,以实现精度损失较少的低比特无数据量化。论文题目:Generative Low-bitwidt原创 2020-09-26 11:43:48 · 935 阅读 · 0 评论 -
ZeroQ:基于Data-Free的30秒快速量化方法
ZeroQ:基于Data-Free的30秒快速量化方法动机方法蒸馏数据(Distilled Data)算法可视化帕累托边界(Pareto Frontier)实验结果ImageNet 结果目标检测结果消融实验蒸馏数据的有效性敏感度分析ZeroQ 是北京大学与 Berkeley 联合发表在 CVPR 2020 的 Data-Free 量化工作。本文是一种无需数据集,通过优化随机数据产生“蒸馏数据”,进而实现均匀量化和混合比特量化的方法。与最近提出的 DFQ 方法相比,ZeroQ 在 MobileNetV2上原创 2020-09-22 09:52:06 · 1532 阅读 · 0 评论 -
神经网络二值量化——ReActNet
神经网络二值量化——ReActNet摘要动机方法二值基准网络结构泛化`Sign`和`PReLU`函数图示&公式代码优化分布损失公式代码训练策略实验结果消融实验可视化可学习的系数可视化激活分布可视化本文为香港科技大学与卡内基·梅隆大学联合发表在ECCV2020。本文作者同系MetaPruning与Bi-RealNet的作者。本文基于二值网络训练精度低的问题,提出了三点优化,分别为重构二值网络结构,泛化传统的Sign和PReLU函数,分别表示为RSign和RPReLU和采用了一个分布损失来进一步强制原创 2020-08-21 11:45:19 · 3257 阅读 · 1 评论 -
神经网络低比特量化——LSQ
神经网络低比特量化——LSQ摘要方法量化计算公式STEP SIZE GRADIENTSTEP SIZE GRADIENT SCALE直通估计器实验结果Weight DecayImageNetAccuracy VS. Model Size消融实验Step Size Gradient Scale Impact添加知识蒸馏提高精度本文为IBM的量化工作,发表在ICLR 2020。论文题目:Learned Step Size Quantization。为了解决量化精度越低,模型识别率越低的问题,本文引入了一种新原创 2020-08-08 10:16:41 · 2640 阅读 · 2 评论 -
神经网络低比特量化——DSQ
神经网络低比特量化——DSQ摘要简介问题描述方法量化表示二值网络量化表示多位均匀量化表示量化函数渐进函数可微软量化(DSQ)函数实验结果消融实验二值量化消融实验均匀量化消融实验CIFAR-10ImageNet本文为商汤科技的量化工作,发表在 ICCV 2019,论文题目:Differentiable Soft Quantization:Bridging Full-Precision and Low-Bit Neural Networks。为了解决量化精度越低,模型识别率越低的问题,本文提出了一种可微软原创 2020-08-02 13:34:55 · 3721 阅读 · 0 评论