文献阅读（90）

• 题目：Two-Step Quantization for Low-bit Neural Networks
• 时间：2018
• 会议：CVPR
• 研究机构：中科大/阿里
• 参考博客：https://blog.csdn.net/qq_19784349/article/details/83931420
• 参考博客：https://blog.csdn.net/JachinMa/article/details/104431803

1 abstract & introduction

本篇论文的主要贡献：

1. 将量化分成了两部分：code learning和transformation function learning，其实就是先量化特征图，再量化权重
2. 对于code learning，采用了稀疏量化方法，特征图小于阈值的都为零
3. 对于transformation function learning，转化成优化问题

2 方法

• 量化特征图：均匀量化，设置阈值
• 量化权重：转化成优化问题

转化成

---

• 题目：Fully Quantized Network for Object Detection
• 时间：2019
• 会议：CVPR
• 研究机构：商汤/上海科技大学

1 abstract & introduction

引用：
Quantization mimic: Towards very tiny cnn for object detection 2018
Quantization and training of neural networks for efficient integer-arithmetic-only inference 2018 CVPR

本篇论文的主要贡献：

1. 研究了量化的过程中的困难
2. 提出了一个硬件优化的量化scheme，将RetinaNet、Faster RCNN量化到4比特

2 方法

1. 量化finetune阶段BN的更新会影响精度，这里停止finetune阶段BN的更新
2. channel wise的量化，不同channel之间的scale是不一样的
3. 特征图量化时利用滑动指数平均，避免特征图变化导致的不稳定

3 实验

针对COCO数据集下的Faster RCNN和RetinaNet