开源向量数据库性能对比: Milvus, Chroma, Qdrant

01.

前言

为应对公司在大规模文本、图像等非结构化数据处理上的业务增长需求，笔者着手调研当前流行的开源向量数据库。主要针对查询速度、并发度和召回率这几大核心维度进行深入分析，以确保选定的数据库方案能够在实际业务场景中高效应对大规模数据检索和高并发需求。通过全面对比不同数据库的表现，得出可靠的调研结论。

笔者首先在墨天轮排行榜中查看了国产向量数据库的排行情况。前三名分别是 Milvus、TensorDB、腾讯云VectorDB。Milvus 是一个非常受欢迎的开源向量数据库，目前在GitHub上已经有30K的star，足以说明它的关注度非常的高。TensorDB 是爱可生的闭源向量数据库，想使用只能走商业途径。腾讯云VectorDB 从名字上就能看出来是腾讯的向量数据库，它也是闭源的，但是可以在腾讯云上申请试用。试用的配置只有1核，1G内存，20G磁盘空间，不满足笔者的测试需求。

目前看来，只有 Milvus 能满足开源的测试条件。看来笔者不能局限在国产数据库了，于是在 DB-Engines 排行榜，笔者找到了前几名的纯向量数据库 Pinecone、Milvus、Chroma、Qdrant。其中只有 Pinecone 是闭源的，只能通过云来访问使用。所以接下来笔者会对 Milvus、Chroma、Qdrant 三个数据库做一次性能测试。

PS：想了解向量数据库能力相关的比对（包括数据库架构、支持的索引类型、不同的特性等等），可以移步到 zilliz 官网中查看详细信息：https://zilliz.com/comparison

02.

性能测试工具的选择

现在已经找到了需要测试的开源向量数据库，下一步当然是挑选测试的工具啦。在评估向量数据库的过程中，ANN Benchmark 和 VectorDBBench 是两个常用的性能测试工具。他们也有各自的优缺点：

ANN Benchmark 是一种外部性能测试工具，专门用于评估不同的向量索引算法在真实数据集上的性能。向量索引是向量数据库中资源消耗大的组件，其性能直接影响整个数据库的表现。ANN Benchmark 在评估向量索引算法方面表现出色，有助于选择和比较不同的向量搜索库。然而，它并不适用于评估复杂且成熟的向量数据库系统，也未能涵盖如“向量搜索+条件过滤”这样的情形。

VectorDBBench 是一个为开源向量数据库（如 Milvus 和 Weaviate）以及全托管向量数据库服务（如 Zilliz Cloud 和 Pinecone）设计的开源性能测试工具。它支持查看向量数据库的 QPS 和召回率。VectorDBBench 专为向量数据库全面评估而设计。它关注资源消耗、数据加载能力和系统稳定性等因素。VectorDBBench 能够进行的测试更接近真实世界的生产环境。

为了更全面且真实的测试，笔者最后选择了 VectorDBBench 测试工具。

PS：VectorDBBench 已经做过一些基准测试，并且把结果公布在官网中了，可以到这里查看：https://zilliz.com.cn/vector-database-benchma