在做CNN模型量化时,参考了http://blog.csdn.net/may0324/article/details/52935869#comments。
引文中有几个问题,这里总结一下:
1)每次Forward,用cluster center对weight进行赋值。实际上整个过程cluster center并未更新,这一做法有误,导致weight始终处理cluster后的原始状态。
2)修正了1)中的问题后,每次迭代调整weights时,都要保证同一cluster center的weight_diff一致。然而Caffe sgd_solver.cpp ApplyUpdate()会对weight_diff
做一些调整。其中,Regularize和ComputeUpdateValue会影响weight_diff的一致性。
具体为:a)Regularize会参考相邻weight_diff的值。将Regularize屏蔽即可。b)ComputeUpdateValue(param_id, rate)中,history_的值加入会改变weight_diff一致性,将history_参与的运算去除即可。但要注意,这里对weight_diff*local_rate不可改变。以上两处修改影响训练程度小。
3)对量化程度的选择,可前测算应用case对model data有效数字位数的要求和data大小范围,然后根据data具体范围,确定量化聚类数。
引文中有几个问题,这里总结一下:
1)每次Forward,用cluster center对weight进行赋值。实际上整个过程cluster center并未更新,这一做法有误,导致weight始终处理cluster后的原始状态。
2)修正了1)中的问题后,每次迭代调整weights时,都要保证同一cluster center的weight_diff一致。然而Caffe sgd_solver.cpp ApplyUpdate()会对weight_diff
做一些调整。其中,Regularize和ComputeUpdateValue会影响weight_diff的一致性。
具体为:a)Regularize会参考相邻weight_diff的值。将Regularize屏蔽即可。b)ComputeUpdateValue(param_id, rate)中,history_的值加入会改变weight_diff一致性,将history_参与的运算去除即可。但要注意,这里对weight_diff*local_rate不可改变。以上两处修改影响训练程度小。
3)对量化程度的选择,可前测算应用case对model data有效数字位数的要求和data大小范围,然后根据data具体范围,确定量化聚类数。