专业级语义搜索优化:利用Cohere AI、BGE Re-Ranker及Jina Reranker实现精准结果重排
1.简介
1.1 RAG
在说重排工具之前,我们要先了解一下 RAG。
检索增强生成(RAG)是一种新兴的 AI 技术栈,通过为大型语言模型(LLM)提供额外的 “最新知识” 来增强其能力。
基本的 RAG 应用包括四个关键技术组成部分:
- Embedding 模型:用于将外部文档和用户查询转换成 Embedding 向量
- 向量数据库:用于存储 Embedding 向量和执行向量相似性检索(检索出最相关的 Top-K 个信息)
- 提示词工程(Prompt engineering):用于将用户的问题和检索到的上下文组合成大模型的输入
- 大语言模型(LL