#今日论文推荐#ACL‘22 | 陈丹琦提出CoFi模型剪枝，加速10倍，精度几乎无损

#今日论文推荐#ACL'22 | 陈丹琦提出CoFi模型剪枝，加速10倍，精度几乎无损

我们都知道，为了让以深度神经网络为基础的模型更快地训练，人们提出了单机多卡、多机多卡等分布式训练的方式，那么，在模型预测推理阶段，有什么方法可以加速推理呢？遗憾的是，并行/分布式的加速方法并不适用于模型推理阶段。

但这并不意味着没有方法可以加速模型的推理。既然多核的方式不行，可以考虑在单核上面的加速，比如减小模型大小（即模型压缩）。

模型压缩可以分为模型剪枝（pruning）和模型蒸馏（distillation）。由于模型中的参数对模型推理的贡献天生就是不平等的，我们可以利用剪枝将贡献度不高的模型参数剪去，从而减小模型大小，但剪枝带来的加速比并不高，最多只有2~3倍的速度提升；蒸馏的方法可以带来较大的加速比，推理精度也不会有太大的损失，但通常情况下，蒸馏会用到大量无标签的数据预训练学生模型（student），然后用任务相关的带标签数据进一步微调或蒸馏学生模型，但是，预训练阶段又可能会花费大量的时间。

那么有没有什么方法既能获得较大的加速比和较低的精度损失，又可以缓解模型训练成本过高的问题呢？

论文题目：Structured Pruning Learns Compact and Accurate Models
详细解读：https://www.aminer.cn/research_report/627877fa7cb68b460fb36122?download=falsehttps://www.aminer.cn/research_report/627877fa7cb68b460fb36122?download=false
AMiner链接：https://www.aminer.cn/?f=cs