28.深度学习模型压缩方法-2

28.1 典型剪枝方法对比

剪枝方法	修剪对象	修剪方式	效果
Deep Compression	权重	随机修剪	50倍压缩
Structured Pruning	权重	组稀疏+排他性稀疏	性能提升
Network Slimming	特征图通道	根据尺度因子修剪	节省计算资源
mProp	梯度	修剪幅值小的梯度	加速

28.2 网络蒸馏

• 网络精馏是指利用大量未标记的迁移数据(transfer data),让小模型去拟合大模型,从而让小模型学到与大模型相似的函数映射
  • 网络精馏可以看成在同一个域上迁移学习的一种特例,目的是获得一个比原模型更为精简的网络,整体的框架图