LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild

本文是LLM系列文章，针对《LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild》的翻译。

摘要

低秩自适应（LoRA）为微调大型语言模型（LLM）提供了一种有效而高效的解决方案。LoRA的模块化和即插即用特性使不同领域特定的LoRA能够集成，以增强LLM的能力。先前关于利用多个LoRA的研究要么侧重于特定的孤立下游任务，要么解决了训练期间LoRA的选择问题。然而，在实际场景中，LLM会收到涵盖不同任务的不同提示，候选LoRA池通常会动态更新。为了弥合这一差距，我们提出了LoraRetriever，这是一个检索然后组合的框架，可以根据输入提示自适应地检索和组合多个LoRA。LoraRetriver包含三个主要部分：第一，识别和检索与给定输入相关的LoRA；其次，制定有效整合检索到的LoRA的策略；第三，开发高效的批处理推理来适应异构请求。实验结果表明，LoraRetriever始终优于基线，突出了其实际有效性和通用性。

1 引言

2 相关工作

3 前言

4 LoraRetriever框架

5 实验

6 结论

本文研究了一个新问题，即使用动态更新的LoRA池为多个LoRA提供服务，以满足下游异构请求。为此，我们引入了一个名为LoraRetriver的框