超级会员免费看
Gecko是一种紧凑且通用的文本嵌入模型，通过将大型语言模型（LLM）的知识蒸馏到检索器中实现强大检索性能。通过两步蒸馏过程，使用LLM生成合成数据并进行再标记，Gecko在MTEB基准测试上以256维嵌入超越所有768维嵌入的现有模型，证明了其有效性。
本文是LLM系列文章，针对《Gecko: Versatile Text Embeddings Distilled from Large Language Models》的翻译。
摘要
我们介绍了Gecko，一个紧凑而通用的文本嵌入模型。Gecko通过利用一个关键思想实现了强大的检索性能：将大型语言模型（LLM）中的知识蒸馏到检索器中。我们的两步蒸馏过程从使用LLM生成不同的合成配对数据开始。接下来，我们通过为每个查询检索一组候选段落，并使用相同的LLM重新标记正面和反面段落，来进一步改进数据质量。Gecko的紧凑性证明了我们方法的有效性。在海量文本嵌入基准测试（MTEB）上，具有256个嵌入维度的Gecko优于具有768个嵌入大小的所有现有条目。具有768个嵌入维度的Gecko平均得分为66.31，与7倍大的模型和5倍高维度的嵌入竞争。
订阅专栏 解锁全文
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
