极智AI | 谈谈几种量化策略：MinMax、KLD、ADMM、EQ

  欢迎关注我的公众号 [极智视界]，获取我的更多笔记分享

  O_o   >_<   o_O   O_o   ~_~   o_O

  本文主要聊一下深度学习模型量化相关策略。

  模型小型化是算法部署的关键技术，模型小型化的过程通常用模型量化来描述。量化通常是高比特位到低比特位的映射过程，量化的对象既可以是权重数据，也可以是激活值。量化方式具有多种形态，不管是混合量化、还是全整型量化；不管是单层量化、成组量化、还是整网量化，都存在浮点数映射到整型数的过程，这个过程一定存在精度损失，而对于我们来说，要做的是把精度损失控制在可接受的范围。

  量化又可以分为后量化、训练时量化又或是量化感知训练。后量化相比训练时量化，是一种更加高效和无侵入式的算法加速技术，这里主要聊一下后量化，包括一些主要的量化类型和量化策略：

• 量化类型：非对称量化和对称量化、非线性量化和线性量化；
• 量化策略：MinMax、KLD、ADMM、EQ；

1、量化类型