LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders

本文是LLM系列文章，针对《LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders》的翻译。

摘要

大型纯解码器语言模型（LLM）是当今大多数NLP任务和基准测试中最先进的模型。然而，社区只是慢慢地将这些模型用于文本嵌入任务，这需要丰富的上下文表示。在这项工作中，我们介绍了LLM2Vec，这是一种简单的无监督方法，可以将任何仅限解码器的LLM转换为强文本编码器。LLM2Vec由三个简单的步骤组成：1）启用双向注意力，2）掩码下一个token预测，3）无监督对比学习。我们通过将LLM2Vec应用于3个从1.3B到7B参数的流行LLM来证明其有效性，并在英语单词和序列级任务上评估转换后的模型。我们在单词级任务上的表现远远优于仅编码器模型，并在大规模文本嵌入基准（MTEB）上达到了新的无监督的最先进性能。此外，当将LLM2Vec与监督对比学习相结合时，我们在仅在公开数据上训练的模型中实现了最先进的MTEB性能。我们强有力的实证结果和广泛的分析表明，LLM可以以参数高效的方式有效地转换为通用文本编码器，而不需要昂贵的自适应或合成GPT-4生成的数据。

1 引言

2 LLM2Vec

3 LLM2Vec-transformer模型是强无监督文本嵌入器

4 LLM2Vec如何影响模型？

5 将LLM2Vec与监督对比学习相结合