60个最新开源Transformer压缩方法！

大家在实际部署Transformer时，都需要压缩模型来减少内存和计算成本。而Transformer模型结合了注意力和前馈网络，往往需要特定压缩技术来提升性能。

本文总结了不同情况下的60种Transformer模型压缩方法与开源代码。分为量化、剪枝、知识蒸馏三大类。

这60种都是近3年内非常新颖的创新方法，并包括CVPR 2024、ICLR 2024等最新顶会的创新思路。每个方法都有对应的开源代码，已经为同学们总结了核心思路，直接get到研究的核心创新，然后进行复现。

相信这些方法能帮助大家更高效的部署模型，提高实验效率与结果。想要60种Transformer模型压缩方法与开源代码的网盘合集，可以扫码下载。

扫码获取60种Transformer模型压缩方法与开源代码

22种量化方法

量化是在各种设备上部署 Transformer 的关键步骤，能减少计算需求和内存占用，并最小化对模型性能的影响。

本文整理的量化方法中，包括CVPR 2024针对SAM的后训练量化框架、ICLR 2024高性能的全向校准量化技术、AAAI 2024异常感知权重量化等等最新创新方法。

这些最新方法能让大家学到最前沿的量化技术，并应用于自己的科研之中，提高模型性能。扫码即可下载。

20种剪枝方法

剪枝是一种用于压缩和加速的技术，通过消除非必要的权重或结构来保持网络性能水平，包括修剪和模型训练的顺序，结构规范以及确定修剪参数的方式。

合集中20种剪枝方法，有来自ICLR 2023的软阈值剪枝、稀疏性角度剪枝、对齐训练提高剪枝性能等。

所有方法全部开源，欢迎有模型压缩需求的同学们扫码下载。

18种知识蒸馏方法

知识蒸馏是一种将教师模型的知识转移给学生模型的技术，用于压缩和加速模型，以更简洁和更有效的方式表示教师模型的知识。

合集整理了包含ICLR 2024对比蒸馏强化学习、NAACL 2024权重继承蒸馏等18种最新知识蒸馏方法。有需求的同学可以扫码下载。