Trained Ternary Quantization

本文是在TWQ(Ternary Weight Quantization)的基础上做出的改进，其流程可以简单概括为：

首先将全精度权重正则化到[-1,1]之间，然后根据一个每层相同的阈值t来进行量化(这里使用统一的t是为了缩小搜索空间，用每个通道不同的t应该能得到更好的表现，但感觉会增加过多的计算消耗)为-1，0和1，最后分别乘以Wn和Wp作为结果计算loss，再通过梯度下降更新Wn、Wp和原始梯度(这里使用了STE)。

Wp和Wn的更新方法是，将所有量化为它们的参数的梯度加和作为它们的梯度的变化：

而原始全精度参数由于再最后乘了Wn或Wp，所以要在反向传播时乘以它们：

这里的Δl的定义并不清楚，应该是和TWQ的一样：

TWQ的Δ的优化值是靠减小量化参数和全精度参数的L2距离优化的，但作者没说这一过程是自动的还是靠人工调整。作者在这里提出了两种求得Δl的方法：
用t乘以所有层权重的最大值；简单粗暴地使用一个常量。很明显前者更灵活，作者于是选取了前者。

最终在ImageNet比TWQ高了三个点，算是比较大的提升。