近日,创邻科技的图数据库产品Galaxybase完成了LDBC-SNB测试,在与前纪录使用完全相同系统配置的前提下,Galaxybase较LDBC之前公布的最高记录吞吐量提升了70%,平均查询性能达6倍以上提升,最高查询性能提升72倍。完整版的基准测试报告已发布在创邻科技官网,下文将从查询准时率、吞吐量、交互类查询简单解读Galaxybase测试报告,带大家了解更多测试细节。
首先看查询准时率
一款成熟的图数据库产品,首先需具备较高的查询准时率,即在高并发的场景下,系统的响应速度跟得上用户的请求速度,做到低延迟。若无高查询准时率,那么再大的吞吐量、再出色的结果都没有意义。为何是高并发的场景,因为在实际业务中,用户不会串行的办理业务,必然是多用户同时发送请求。这就意味着任务执行过程中,各项进程会抢占硬件资源,延迟耗时更长,同时也更接近真实场景。
下图是Galaxybase图数据库查询超时测试截图,结果显示Galaxybase在三项所测数据集下,均做到了100%的准时率,远超LDBC官方要求的95%准时率。这意味着在实际场景中,Galaxybase对高并发业务有优秀支撑能力,并能在规定时间内返回结果,即用户等待时间短。
进一步看全局吞吐量
全局吞吐量是图数据库在真实环境中的全局能力表现,若每秒的支持操作数量大,吞吐量高,则说明图数据库在高并发的情况下能处理的请求越多。从报告的配置参数可以了解到,Galaxybase采用48个客户端按设定压缩比并行发送各类请求进行测试,且需经过30分钟预热,使图数据库性能度过冷却期达到稳定,再进行正式测试得到结果。这样的机制设定符合真实环境的请求情况,更能体现图数据库的局部表现和整体性能,具备实际意义。
这里解释一下压缩比的概念,压缩比决定了请求发送的频率,压缩比为1时,假定同一测试项的发送请求间隔为100ms,若压缩比改为0.5,则发送请求间隔变成50ms。即压缩比越低,请求频率越快,吞吐率越大,对图数据库性能要求越高,后文中会提到Galaxybase在测试中的压缩比。
下图是Galaxybase图数据库和前纪录全局吞吐量测试的对比截图。以数据集SF 30为例,结果显示Galaxybase处理请求量高达每秒9286个,即一样的时间成本下,Galaxybase每秒将比原纪录多处理3850个请求,极大提高业务处理效率。三个数据集的吞吐量和前纪录做横向对比后可得到,报告中反复强调的“Galaxybase较LDBC之前公布的最高记录吞吐量提升了70%”中,70%的数据来源。
最后看响应时间
LDBC-SNB性能基准测试完成的同时,系统会依次输出29个交互类任务项(14类复杂查询案例、7类简单查询案例和8类插入更新案例)的平均平均响应时间和各个分位的响应时间,这里举例说明一下输出各个分位响应时间的意义,下面有两个图数据库A、B,单位为毫秒。
图数据库A响应时间【1,1,1,1,1,1,1,1,100,100】
图数据库B响应时间【1,1,1,1,5,15,20,20,50,50】
只看平均响应时间,图数据库A的平均响应时间为:20.8 ms,图数据库B的平均响应时间为:16.5 ms。如此看来,图数据库B的性能优于图数据库A。加入分位响应时间后可以看到,50分位时,图数据库A的性能优于图数据库B。设置不同分位的结果展示,使图数据库对比更加合理,有利于读者了解更全面,更真实的图数据库性能。
下图是Galaxybase图数据库和前纪录测试响应时间的对比截图。以数据集SF 100为例,可以看到Galaxybase在压缩比更小,发送请求频率更快的情况下,平均响应时间和不同分位下的响应时间,均快于前纪录。纵贯整个对比报告,在三个数据集下,平均响应时间提升6倍以上,这也是报告中提到的“平均查询性能达6倍以上提升”数据来源。值得一提的是,在SF 100数据集下的IU-6测试项上,Galaxybase达到了72倍的提升。
结语
本文简单讲解了LDBC-SNB测试结果,帮助大家从成果角度了解创邻科技LDBC测试的意义。LDBC-SNB测试过程同样充满意义,报告原文从系统软硬件配置、测试数据集说明、测试机制、参数配置、结果展示等方面详细、全面、客观的展示了测试细节,感兴趣的同学可以前往创邻科技官网查看。
报告原文:基准报告 - Galaxybase