上周比较火的2个内容,一个是 JinaAI 发布的一个关于 late chunking 的博客,另外一个是英伟达最新挂出来的 RAG-OP 的论文。2个都能让已有的 RAG 系统召回测有一个比较不错的提升,并且实现都非常容易。
Late Chunking: 与常规的先 chunk 切分后向量化相反,先将整个文本输入到向量模型中。在输出层进行 chunk 分组。这样的优势是,充分利用长上下文模型的优势,同时又不会让每个块的信息过多,干扰向量表征。实测能有效的提升召回效果,尤其是那些主语被切分掉的 chunk。
OP-RAG: 目前的一个现状是,长上下文 LLMs 在长上下文应用中显著优于 RAG。这是因为LLMs 中的极长语境会导致对相关信息的关注度降低,并导致答案质量的潜在下降。
与传统 RAG 将检索到的文本块按相关性降序排列不同,OP-RAG 保持了这些文本块在原文中的顺序。也就是说,如果一个文本块在原文中出现在另一个文本块之前,那么在处理答案时,它也会被放在前面。(这应该算是已有的一个高级技巧,不过文章中做了一些实验来论证了这个结论的有效性。)
Late Chunking:长文本 Embedding 模型中的“迟分”策略