《向量数据库指南》——AI应用长文本与RAG通用对比

长文本与RAG通用对比

---

准确率：通常情况下长文本优于RAG

• 长文本：可更加综合的去分析所有相关的内容，提取相关数字，生成图表，效果尚可。

• RAG：更适合找到一段或者是几段可能相关的段落。如果希望大模型能够对问题有全局的认识，比较困难。如，根据上市公司的2020年财务报表，绘制图表，直接用RAG可能效果就不是很好。

长文本在准确性上表现好的原因，以及长度与准确性选择

• 长文本处理之后，会做对齐和专门的Benchmark测试调整。比如说之前的大海捞针以及腾讯的数星星的Benchmark，这些是更难一些要求，不仅要找到相关的位置，还得把具体的数字给出来。

• 现在也出现了一些新的关于长文本模型的bench mark，比如legal bench，它就是专门测长文本模型的retrieval 和reasoning 的能力。然后如果大家对这个方面的推理有兴趣的话，可以去搜，最近有一些论文是比较相关的。

• 从实际应用出发，其实几十 k token的输入量量并不算很多，现在一般的大语言模型都能满足。用额外的辅助，就有点像为了10本书，去搞一个图书馆，可能不太需要。但是如果对这 10 本书有什么特殊的需求，没准也需要搞一个图书馆，