语义检索-BAAI Embedding语义向量模型深度解析【3】：微调Cross-Encoder以提升语义检索精度

语义检索-BAAI Embedding语义向量模型深度解析：微调Cross-Encoder以提升语义检索精度

语义向量模型（Embedding Model）已经被广泛应用于搜索、推荐、数据挖掘等重要领域。在大模型时代，它更是用于解决幻觉问题、知识时效问题、超长文本问题等各种大模型本身制约或不足的必要技术。然而，当前中文世界的高质量语义向量模型仍比较稀缺，且很少开源

BGE 出色的语义表征能力源于两方面要素：1）针对表征的预训练，2）大规模文本对训练。

BGE 在悟道 、Pile 两个大规模语料集上采取了针对表征的预训练算法 RetroMAE ：将低掩码率的输入编码为语义向量（Embed），再将高掩码率的输入与语义向量拼接以重建原始输入。这样一来，BGE 得以利用无标签语料实现语言模型基座对语义表征任务的适配。

BGE 针对中文、英文分别构建了多达120M、232M的样本对数据，从而帮助模型