Deep Compression, Song Han, Caffe 实现

在做CNN模型量化时，参考了http://blog.csdn.net/may0324/article/details/52935869#comments。

引文中有几个问题，这里总结一下：

1）每次Forward，用cluster center对weight进行赋值。实际上整个过程cluster center并未更新，这一做法有误，导致weight始终处理cluster后的原始状态。

2）修正了1）中的问题后，每次迭代调整weights时，都要保证同一cluster center的weight_diff一致。然而Caffe sgd_solver.cpp ApplyUpdate()会对weight_diff
做一些调整。其中，Regularize和ComputeUpdateValue会影响weight_diff的一致性。

具体为：a）Regularize会参考相邻weight_diff的值。将Regularize屏蔽即可。b）ComputeUpdateValue(param_id, rate)中，history_的值加入会改变weight_diff一致性，将history_参与的运算去除即可。但要注意，这里对weight_diff*local_rate不可改变。以上两处修改影响训练程度小。

3）对量化程度的选择，可前测算应用case对model data有效数字位数的要求和data大小范围，然后根据data具体范围，确定量化聚类数。