本篇博文主要介绍神经网络压缩(network compression)
文章目录
network pruning
把network里面的一些参数剪掉,一次先剪掉一点参数,修剪的单位可以用参数,也可以用神经元。
两种单位的区别如下:
以参数为单位的pruning
以神经元为单位的pruning
大的network更好train,直接训练小的network可能训练不起来
knowledge distillation
ensemble:average many models
parameter quantization
architecture design
减少参数的一个常用的办法
dynamic computation