在整合大型语言模型(LLM)到业务流程时,企业经常会遇到一些头疼的问题,比如怎样保持数据时效性、避免幻觉现象,以及如何保护数据安全等等。为了解决这些问题,检索增强生成(RAG)技术应运而生,它不仅帮助我们克服了这些挑战,还引领了信息检索的新方向。
虽然 RAG 系统及其科普非常流行,但在实际使用中,我们会发现它“入门易,精通难”。目前,业界的讨论主要集中在如何改进内容提取、文档分块,以及 Embedding 模型等技术,但很少有人提到提升搜索准确度的关键步骤 —— Reranker。
日前,我们正式发布了 Jina Reranker(jina-reranker-v1-base-en),专为提高搜索准确性打造。Jina Reranker 在多个权威测评中屡获领先,实验数据显示,相比简单 RAG 系统,搭载该模型的检索系统命中率提高 8%,MRR 更是飙升 33%。
模型链接: https://jina.ai/reranker/
什么是 Reranker
你可能会问,既然向量检索已经根据相似度给出了初步排序,为什么我们还需要 Reranker 呢?
下表阐述了向量检索和 Reranker 模型之间的主要差异。