Composing Parameter-Efficient Modules withArithmetic Operations（(NeurIPS 2023）

一、写作动机：

参数高效微调（PEFT）方法——在保持大多数预训练参数冻结的同时仅调整少量参数，由于其竞争性能和减少的内存和存储成本而成为微调预训练语言模型（PLM）的标准方法。当应用于各种数据集和应用程序时，PEFT产生了许多参数高效模块（PEMs），每个模块与不同的模型能力相关联。然后一个自然的问题出现了：我们是否可以组合这些轻量级模块以利用它们所具备的多样化技能？

二、主要贡献：

提出通过权重空间中的线性算术运算来组合这些参数高效模块，从而整合不同的模块能力。具体而言，首先为模块定义加法和取反运算符，然后进一步组合这两个基本运算符来执行灵活的算术运算。这个方法不需要额外的训练，并且实现了高度灵活的模块组合将不同的算术运算应用于组合参数高效模块，包括（1）分布泛化，（2）多任务，（3）取消学习和（4）领域转移。此外，还将该方法扩展到了Alpaca-LoRA。

三、方法（算数运算组合）：

（其中取反只专注在隐藏状态h的修改）

四、实验

4.1用于分布泛化的组合：

将在相同任务上训练的但分布不同的PEMs组合起来，以提高模型的泛化能力。

4.2多任务学习组合：

4.3用于取消学习的组合：

4.4用于领域迁移的组合：