(笔记)通过知识蒸馏和量化进行模型压缩MODEL COMPRESSION VIA DISTILLATION AND QUANTIZATION

本文介绍了一种结合知识蒸馏和量化的模型压缩方法,包括两个算法:1) 将知识蒸馏损失引入量化训练过程;2) 训练量化集合以优化非线性量化。实验结果显示,使用更宽的ResNet-18模型能达到更好的压缩效果。
摘要由CSDN通过智能技术生成

(笔记)Model Compression via Distillation and Quantization

原文链接:

https://arxiv.org/abs/1802.05668

代码:

https://github.com/antspy/quantized_distillation

摘要

主要介绍了两种算法。
1)加入知识蒸馏loss的量化训练。
2)训练量化集p。

算法一:加入知识蒸馏loss的量化训练

有一个浮点模型w,一个量化模型w^q,用量化模型计算前向loss(加上知识蒸馏的loss),对w^q计算梯度,用以更新浮点模型。每次前向计算之前用更新的浮点模型更新量化模型。
这里写图片描述

算法二:训练量化集p

此方法适合非线性量化。量化函数的输入为浮点模型参数w和量化集合p。训练在于优化量化集合p。
由量化函数、浮点模型w和量化集合p可得量化模型w^q,量化模型做前

  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值