本文作者:Joshua Yu,Neo4j 亚太区售前和技术总监。
原文作者:Chris Gioran,Neo4j 首席架构师。
1 简介
在 2021 年 6 月 17 日的 Neo4j NODES 2021 全球图技术峰会上,Neo4j 的工程师展示了迄今为止部署成功的最大的图数据库集群:
1129 个 Neo4j 数据库实例,其中:
1128 个论坛数据分片
1 个用户分片
3 个 Neo4j Fabric 服务实例提供跨分片的查询
每个论坛分片包含 9 亿个关系和 1.82 亿个节点,共 2 千亿节点
每个用户分片包含 30 亿个用户和他们之间的 160 亿个关系,超过 1 万亿条边
数据总规模超过 280 TB
从开始部署到得到最终结果用了 3 周
运行的成本约为 400 美元/小时(AWS)
这次测试的主要目的是验证 Neo4j 的可扩展性,以及在分布式部署下、Fabric 联邦式查询引擎是否能够维持线性的查询相应延迟增长。
实验从 1 台 Neo4j 服务器开始,增加到 10 台、然后 100 台、最终 1129 台,数据量也从开始的数百 GB 到 1TB 到 280TB。使用的数据集是 LDBC。