Adapter-X: A Novel General Parameter-Efficient Fine-Tuning Framework for Vision
本文提出了一种新的参数高效微调框架ADAPTER-X,旨在解决视觉模型在不同任务间平衡高效率与良好泛化能力的问题。随着基础模型规模的增长,参数高效微调(PEFT)变得尤为重要。ADAPTER-X通过引入Sharing Mixture of Adapters(SMoA)模块,实现了在不同块之间共享适配器,增加了可训练参数的数量,并通过动态分配策略优化了参数的使用效率。