LLM Augmented LLMs: Expanding Capabilities through Composition

Q: 这篇论文试图解决什么问题？

A: 这篇论文试图解决的问题是如何有效地将现有的基础模型（Foundation Models，简称LLMs）与更具体的模型结合起来，以赋予它们新的技能和能力。由于LLMs的庞大结构，给它们增加新技能或进行调整既困难又昂贵。而另一方面，为了适应新领域和任务，许多新的LLM实例正在被训练。因此，论文提出了一种名为CALM（Composition to Augment Language Models）的方法，通过在模型之间引入交叉注意力（cross-attention）来组合它们的表示，并启用新的能力。

CALM的主要特点包括：

1. 通过“重用”现有的LLMs以及少量额外的参数和数据，扩展LLMs在新任务上的能力。

2. 保持现有模型权重不变，从而保留现有能力。

3. 适用于多种领域和设置。

论文通过实验展示了CALM在语言包容性（例如，将低资源语言翻译成英语和解决低资源语言的算术问题）和代码生成（例如，代码解释和代码补全）方面的有效性。

Q: 有哪些相关研究？

A: 这篇论文提到了以下几类相关的研究：

1. 参数高效微调（Parameter