Network Compression
introduce
为什么需要压缩?
是因为我们需要ML可以运用到更多的地方
5个方法
network Pruning
简单思想:网络清理,把一个大的Network去剪掉一些不必要的weight和neuron
现在普遍的网络都是冗余的
对于网络剪枝的一般步骤:
那我们为什么需要去剪枝呢?为什么不在一开始就去训练一个小的NN呢
有一个彩票假说也说明了这个问题
但是还有一篇Paper得到的结论完全相反
那么既然需要剪枝,那么见到weight和剪掉neuron哪一个更好呢
剪掉weight并没有加速多少
剪掉neuron才会有更好的结果
Knowledge Distillation
知识蒸馏:基本思想先训练一个大的NN,让小的NN去模拟大的NN
Parameter Quantization
参数量化:
Architecture Design
体系结构设计:调整架构设计
在实战中最有效的方法
多加入一个linear model 减少参数
Dynamic Computation
动态计算法