Toward Extremely Low Bit and Lossless Accuracy in DNNs with Progressive ADMM

  论文题目：Toward Extremely Low Bit and Lossless Accuracy in DNNs with Progressive ADMM
  使用渐进式ADMM（交替方向乘子法）实现DNN中极低的位和无损精度

论文链接：https://arxiv.org/abs/1905.00789?context=cs
代码链接：http://bit.ly/2YYqzJv
先来看看交替方向乘子法到底是个什么鬼？我在知乎上找了一个不错的回答，比较容易理解：https://www.zhihu.com/question/36566112/answer/118715721

摘要

权重量化是一种非常重要的深度模型压缩技术，最近的一项工作使用采用了先进的优化算法（ADMM）的DNN权重量化的系统框架在权重量化方面实现了最先进的结果。在这篇工作中，我们首先扩展了基于ADMM算法的框架来指导方案的灵活性，并且进一步发展了一个多阶段的、渐进式的DNN权重量化框架，它具有双重优点：

1. 由于ADMM正则化的特殊性质，实现了更近一步的权重量化；
2. 减小了每一个阶段的搜索空间的范围；

实验结果也展现了我们与之前的工作相比的卓越的性能表现，一些亮点：我们推出了第一个无损且全二值化的（对于所有层）LeNet-5（在MNIST数据集上），并且推出了第一个全二值化的（对于所有层）VGG-16（在CIFAR-10上）和ResNet（在ImageNet上）模型，并且是在一个可接受的精度损失下。

1. Introduction

在之前的工作中，存储和计算量的需求已经大大降低，并且精度损失也在一个可以接受的程度内。我们知道乘法操作的成本很高，所以我们希望可以将权重量化到二值（1和-1）、三值（1、-1和0）、2的指数次幂，这样的话乘法运算就可以转换为异或、位操作等运算。

先占坑，之前组会讲过了，后边来补