模型压缩工具Distiller-INT8量化

本文介绍了Distiller工具,一个用于神经网络压缩的开源软件,重点讲解了如何利用Distiller进行INT8量化,包括post-training量化和quantization-aware training。文章通过实例演示了如何对ResNet模型进行量化,并探讨了量化后可能出现的问题和解决方案。
摘要由CSDN通过智能技术生成

1.distiller工具介绍

   Distiller是一个开源的Python软件包,用于神经网络压缩研究。网络压缩可以减少神经网络的内存占用,提高推理速度并节省能源。Distiller提供了一个PyTorch环境,用于对压缩算法进行原型设计和分析。

      主要功能:

  • A framework for integrating pruning, regularization and quantization algorithms. 模型剪枝,正则化以及量化
  • A set of tools for analyzing and evaluating compression performance. 分析和评估压缩性能
  • Example implementations of state-of-the-art compression algorithms. 一些压缩实例

 

2.distiller安装

     github地址:https://github.com/NervanaSystems/distiller 支持PyTorch1.x(在Pytorch 1.1+PyThon3.6上测试成功)。

     使用手册:https://nervanasystems.github.io/distiller/ 具体安装见github。

  • 3
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值