BERT模型瘦身术：TinyBERT与DistilBERT的高效压缩革命！

近年来，随着BERT等预训练语言模型在自然语言处理（NLP）领域取得巨大成功，为了解决昂贵的成本问题，知识蒸馏（Knowledge Distillation, KD）技术应运而生，通过将大型“教师”模型的知识迁移到小型“学生”模型中，实现了模型的高效压缩与加速，极大地推动了NLP技术在资源受限设备上的应用。

TinyBERT提出了一种新颖的Transformer蒸馏方法，结合两阶段学习框架，首次在预训练和任务特定学习阶段均进行知识蒸馏，显著提升了小模型的性能。

让BERT模型在保持高精度的同时，体积大幅缩小、推理速度显著提升，为边缘设备部署提供了可能。

我整理了10种【模型蒸馏】的相关论文，全部论文PDF版可以关注工棕号{AI因斯坦}

回复  “模型蒸馏”领取~

1.TinyBERT: Distilling BERT for Natural Language Understanding

文章提出 TinyBERT 及 Transformer 蒸馏方法，通过两阶段学习框架，将 BERT 知识转移到小模型，在减少模型大小和推理时间的同时，保持了较高性能。

• 创新点

1.提出新型 Transformer 蒸馏方法，设计多种损失函数，有效转移 BERT 语言知识到 TinyBERT。

2.构建两阶段学习框架，在预训练和任务特定学习阶段进行蒸馏，使 TinyBERT 学习通用和任务特定知识。

3.实验证明 TinyBERT 在模型大小、推理速度和性能上表现出色，优于许多基线模型。

• 研究结论

1.TinyBERT 在保持较高性能的同时，显著减小了模型大小并加快了推理速度，在 GLUE 基准测试中表现优异。

2.两阶段学习框架和各种蒸馏目标对 TinyBERT 性能提升至关重要，不同任务对 BERT 不同层知识的依赖有差异。

3.TinyBERT 为基于 BERT 的 NLP 模型在边缘设备部署提供有效途径，结合其他压缩技术是未来方向。

全部论文PDF版可以关注工棕号{AI因斯坦}

回复  “模型蒸馏”领取~

2.FITNETS: HINTS FOR THIN DEEP NETS

文章提出 FitNets 方法，通过引入教师网络中间层提示训练更薄更深的学生网络，在多个基准数据集实验验证其能有效压缩模型，提升性能并减少计算负担。

• 创新点

1.提出 FitNets 框架，利用教师网络中间层隐藏状态作为提示，训练比教师网络更薄更深的学生网络。

2.采用卷积回归器解决学生网络中间层维度小于教师网络中间层的问题，减少参数和内存消耗。

3.证明基于提示的训练可视为一种通用课程学习方法，能有效引导模型优化和提升泛化能力。

• 研究结论

1.FitNets 能训练出参数更少、泛化能力更好或运行速度更快的深度学生模型，在多个数据集上优于教师模型。

2.基于提示的训练比直接用分类目标训练中间层效果更好，可帮助训练更深的网络。

3.在固定计算预算下，深度模型比浅模型性能更好，为探索新的训练策略提供方向。

全部论文PDF版可以关注工棕号{AI因斯坦}

回复  “模型蒸馏”领取~

3.Improved Feature Distillation via Projector Ensemble

文章聚焦知识蒸馏中特征投影过程，提出基于投影器集成的特征蒸馏方法。

通过分析投影器作用，经多实验验证其能提升学生模型性能，在不同数据集和师生对组合上表现出色。

• 创新点

1.发现即便学生和教师特征维度相同，添加投影器也能提升蒸馏性能，揭示无投影器时学生网络易过拟合教师特征分布的问题。

2.提出投影器集成方法，利用不同初始化的投影器生成多样特征，提高学生模型泛化能力。

3.设计简单且有效的改进特征蒸馏框架，结合蒸馏最后一层特征与投影器集成，在多个任务上优于现有方法。

• 研究结论

1.投影器可缓解学生网络在特征蒸馏中的过拟合问题，提高特征质量，进而提升分类性能。

2.基于投影器集成的方法在不同数据集和师生对组合下，分类精度均优于现有先进方法，且收敛更快。

3.该方法在降低模型参数数量的同时能保持性能，且计算复杂度和内存使用较低，具有应用潜力。

全部论文PDF版可以关注工棕号{AI因斯坦}

回复  “模型蒸馏”领取~

顶会投稿交流群来啦！

欢迎大家加入顶会投稿交流群一起交流~这里会实时更新AI领域最新资讯、顶会最新动态等信息~