[论文阅读]Adversarial Network Compression

目录

目标

主要贡献

方法

算法框架

损失函数

实验

---

这是一篇用对抗训练来进行网络压缩的论文。

论文链接 https://arxiv.org/abs/1803.10750

PPT下载地址 https://pan.baidu.com/s/1Rb8ZLPS4OgZBp9aGaj2o8Q

目标

将知识从深的、精确的模型转移到较小的模型。

主要贡献

1. 提出对抗性网络压缩方法来训练小型student网络，以模仿大型的teacher网络，训练过程中不使用标签。
2. 引入正则化方案，防止判别器过强，不降低网络性能。
3. 这一框架可以在不同的teacher-student模型上得到推广

方法

算法框架

将一个深的、精确的网络定义为 teacher ,将一个浅的、参数少的网络定义为 student