[ACM MM 2024] AdapMTL: 多任务学习模型的自适应剪枝框架
传统的剪枝技术主要针对单任务模型,而多任务模型具有任务间的相互依赖性、表示共享以及任务头对剪枝的不同敏感度等复杂性,使得直接应用现有剪枝方法变得困难。在训练过程中,它通过优化软阈值和MTL模型权重来确定每个组件合适的稀疏度水平,从而实现高任务准确性和整体稀疏度。反之,如果损失波动大,则应减少其权重。将多任务模型剪枝定义为一个优化问题,目标是在给定数据集和期望稀疏度水平下,找到一组稀疏权重,以最小化所有任务的损失之和。在训练过程中,模型权重和组件级软阈值同时更新,以实现高稀疏度和高任务准确性的平衡。
原创
2024-08-09 10:36:29 ·
597 阅读 ·
0 评论