如何选择合适的 Embedding 模型？

检索增强生成（RAG）是生成式 AI （GenAI）中的一类应用，支持使用自己的数据来增强 LLM 模型（如 ChatGPT）的知识。

RAG 通常会用到三种不同的AI模型，即 Embedding 模型、Rerankear模型以及大语言模型。本文将介绍如何根据您的数据类型以及语言或特定领域（如法律）选择合适的 Embedding 模型。

1

文本数据：MTEB 排行榜

HuggingFace 的 MTEB leaderboard 是一个一站式的文本 Embedding 模型榜！您可以了解每个模型的平均性能。

您可以将“Retrieval Average”列进行降序排序，因为这最符合向量搜索的任务。然后，寻找排名最高、占内存最小的模型。

• Embedding 向量维度是向量的长度，即 f(x)=y 中的 y，模型将输出此结果。

• 最大 Token 数是输入文本块的长度，即 f(x)=y 中的 x ，您可以输入到模型中。

除了通过 Retrieval 任务排序外，您还可以根据以下条件进行过滤：

• 语言：支持法语、英语、中文、波兰语。（例如：task=retrieval,

  Language=chinese）

• 法律领域文本。

  （例如：task=retrieval，Language=law）

值得注意的是，由于部分训练数据最近才得以公开，一些 MTEB 上的 Embedding 模型可能是看似合适但实际不合适的模型，排名虚高，实际表现可能会有所不同。因此，HuggingFace 发布了一篇博客，介绍了判断模型排名是否可信的要点。点击模型链接（称为“模型卡片”）后：

• 寻找解释模型如何训练和评估的博客和论文。仔细查看模型训练使用的语言、数据和任务。同时，寻找由知名公司创建的模型。例如，在 voyage-lite-02-instruct 模型卡片上，您会看到其他的 VoyageAI 模型列出，但不包括这个。这是一个提示！该模型是一 个overfitting 模型，不应使用！