本文目录 论文信息 1. 研究背景 2. 方法 基于对比学习的剪枝框架 补充:对比学习 如何应用对比学习? PrC 额外的内存开销 将CAP框架应用于不同的剪枝方法中: 3. 实验 实验设置 实验结果: 1)通过CAP移除模型大部分的参数,依然取得可比的效果 2)CAP对于不同的剪枝方法,都能带来有效的提升 3)CAP对比其他剪枝优化方法有明显的优势 4)CAP对比蒸馏方法也有优势 5)CAP提高模型的泛化性能 6)消融实验 7)不同裁剪比例下的模型表现 4. 总结 REFERENCE 参考资料: 基于对比学习的预训练语言模型剪枝压缩 论文信息 作者:Runxin Xu, Fuli Luo, Chengyu Wang, Baobao Chang, Jun Huang, Songfang Huang,