巅峰对决 LlamaIndex 与 OpenAI API大比拼

 我们进行了一项详尽的分析，比较了 OpenAI 助手 API 和 LlamaIndex 在 RAG 性能方面的差异。目的是使用Tonic Validate评估各种RAG系统，该系统是一个RAG评估和基准平台，同时使用开源工具tvalmetrics。本文中使用的所有代码和数据都可以在这里找到。简单来说，Llamaindex目前在速度上大幅领先（尤其是在处理多个文档方面）。几个关键的发现包括：

多文档处理：在处理多个文档时，助手 API 的表现不尽人意。而 LlamaIndex 在这方面表现出色。

单文档处理：当文档被合并成一个*单一*文档时，助手 API 的性能有显著提升，在这方面略胜一筹于 LlamaIndex。

速度对比：“处理五份文档只用了七分钟，而 OpenAI 的系统在相同条件下几乎要花上一个小时。

”稳定性：“相比于 OpenAI 的系统，LlamaIndex 显著降低了崩溃的风险”

介绍

上周，我们测试了OpenAI的Assistants API，并发现其在处理多个文档时存在一些主要问题。然而，为了更好地评估其性能，我将比较OpenAI的Assistants RAG与另一个流行的开源RAG库LlamaIndex。让我们开始吧！测试OpenAI的Assistants RAG 在先前的文章中，我们已经设置了Op