Ternary Neural Networks with Fine-Grained Quantization

这篇文章主要针对以往三值量化一刀切的粗暴“量化”方式提出“细粒度”量化的想法。

文章目的将现有的网络不经训练地转化为三值网络，且激活函数8bit/4bit的。

相对于前人的工作，这篇文章的创新点在于Weight Grouping上。

3.1说应该将weights分为正交的子集。

3.2说3.1太麻烦了，直接按照顺序分成子集就好，真是纠结的一篇文章啊。

 

效果上，作者给出的字面数据是不错的。

结论

这篇文章有“水”的嫌疑，不管是实验上还是理论上，大部分公式其实用图片就可以清晰地解决。不过提出的分组量化的点……好像前人也提过。