深入RAG优化：BGE词嵌入全解析与Landmark Embedding新突破

前面已经写过一篇关于Embedding选型的文章，《如何高效选择RAG的中文Embedding模型？揭秘最佳实践与关键标准！》，主要介绍通过开源网站的下载量和测评效果选择Embedding模型。

一、Embedding选型建议与结果

选型建议：

1、大部分模型的序列长度是 512 tokens。8192 可尝试 tao-8k，1024 可尝试 stella。

2、在专业数据领域上，嵌入模型的表现不如 BM25，但是微调可以大大提升效果。

3、有微调需求且对模型训练了解较少的，建议选择 bge 系列（完善的训练脚本、负例挖掘等）。但多数模型都基于BERT，训练脚本也通用，其他模型也可以参考。

4、重排模型选择很少，推荐使用 bge-reranker，也支持微调。reranker 模型因为单次输入较多，只能通过 GPU 部署。

选型结果：

1. PEG
   作者：腾讯
   模型地址：https://huggingface.co/