本文是LLM系列文章,针对《Matryoshka-Adaptor: Unsupervised and Supervised Tuning for Smaller Embedding Dimensions》的翻译。
Matryoshka-Adaptor:用于较小嵌入尺寸的无监督和监督调整
摘要
大型语言模型(LLM)的嵌入已成为各种应用程序中的关键组件,特别是在信息检索方面。虽然高维嵌入通常表现出更优的性能,因为它们包含更显著的信息,但它们的实际应用经常受到计算延迟增加和相关成本增加的阻碍。为了应对这些挑战,我们提出了Matryoshka Adaptor,这是一种为定制LLM嵌入而设计的新型调优框架。MatryoshkaAdaptor有助于大幅降低维度,同时保持可比的性能水平,从而显著提高计算效率和成本效益。我们的框架直接修改了预训练LLM的嵌入,该LLM旨在与任何LLM架构无缝集成,包括那些只能通过黑盒API访问的LLM。此外,它在无监督和监督学习环境中都表现出了有效性。对各种英语、多语言和多模态数据集进行的严格评估一致表明,Matryoshka Adaptor取得了实质性进展。值得注意的是,通过谷歌和OpenAI嵌入API,Matryoshka Adaptor在不影响多个BEIR数据集性能的情况下实现了从2到12倍的维度降低。