新鲜出炉2个RAG技巧，高级RAG更高级！

上周比较火的2个内容，一个是 JinaAI 发布的一个关于 late chunking 的博客，另外一个是英伟达最新挂出来的 RAG-OP 的论文。2个都能让已有的 RAG 系统召回测有一个比较不错的提升，并且实现都非常容易。

Late Chunking： 与常规的先 chunk 切分后向量化相反，先将整个文本输入到向量模型中。在输出层进行 chunk 分组。这样的优势是，充分利用长上下文模型的优势，同时又不会让每个块的信息过多，干扰向量表征。实测能有效的提升召回效果，尤其是那些主语被切分掉的 chunk。

OP-RAG：  目前的一个现状是，长上下文 LLMs 在长上下文应用中显著优于 RAG。这是因为LLMs 中的极长语境会导致对相关信息的关注度降低，并导致答案质量的潜在下降。

与传统 RAG 将检索到的文本块按相关性降序排列不同，OP-RAG 保持了这些文本块在原文中的顺序。也就是说，如果一个文本块在原文中出现在另一个文本块之前，那么在处理答案时，它也会被放在前面。（这应该算是已有的一个高级技巧，不过文章中做了一些实验来论证了这个结论的有效性。）

Late Chunking：长文本 Embedding 模型中的“迟分”策略

OP-RAG：https://arxiv.org/pdf/2409.01666