基于混合检索重排序策略的大模型增强方法
核心研究问题
如何优化检索增强生成(RAG)技术,特别是在知识库存储方式和检索结果重排序策略上,以显著提升大语言模型(LLM)在事实性问答任务中的准确率。
主要发现与贡献
-
知识库存储方式至关重要:段落切分优于固定长度切分
- 问题: 传统RAG系统常将知识库切分为固定长度(如256、512、1024字符)的文本块进行向量存储和检索。这种方式虽然处理效率高,但破坏了文本的自然段落结构信息。

- 发现: 实验证明,将知识库按自然段落结构切分存储,相比固定长度切分,能大幅提升LLM依据检索知识回答问题的准确率(在多个模型上提