LoRAHub：Efficient Cross-Task Generalization Dynamic LORA via dynamic LoRA Composition

Introduction

在微调模型后，LLM从一个只会文字接龙的模型转换到以与人交流的方式输出下一个词。但是我们在处理一些复杂问题是往往还需要在其基础上做ICL+CoT/FewShot，但是这回导致上下文非常长，从成本的角度来讲，这是十分不经济的。

本文提出了LoRAHub，通过多个LoRA模型来共同决策新的下游任务。

Method

如上图，作者训练多个需要复杂问题领域的LoRA，用w表示，然后在解决新的问题是，通过考虑之前训练过的所有adapter，上就是上图右侧adapter表示求和。为了更精确的查找，作者为每个adapter都引入特定的权重，这实际上就变成了线性回归公式如下：

其中AB就是LoRA的增量权重，把这个替换为多个权重的加权和：

为了减少计算量，作者通过了参数搜索的形势寻找最优参数。

试验结果

可以看到只用了六分之一的token数就达到了与ICL+few-shot类似的性能。

参考

https://arxiv.org/pdf/2307.13269.pdf