GAIA-IR：GraphScope 上的并行化图查询引擎

最新推荐文章于 2024-09-23 14:59:08 发布

graphscope

最新推荐文章于 2024-09-23 14:59:08 发布

阅读量234

点赞数

分类专栏：技术干货文章标签：图计算大数据

本文链接：https://blog.csdn.net/graphscope/article/details/124244617

版权

本文介绍了GAIA-IR，一个在GraphScope上的并行化图查询引擎，旨在解决Gremlin查询语言在分布式环境中的挑战。GAIA-IR通过引入中间表示层，提高了查询效率和语言扩展性，支持更丰富的表达式和语法检查，同时优化了系统架构以适应大规模图数据查询。

摘要由CSDN通过智能技术生成

在本文中，我们将介绍 [GraphScope](GAIA-IR：GraphScope 上的并行化图查询引擎) 图交互式查询引擎 GAIA-IR，它支持高效的 Gremlin 语言表达的交互图查询，同时高度抽象了图上的查询计算，具有高可扩展性。

背景介绍

在海量数据的分析中，图查询是一种重要的工具。Gremlin 是由 Apache Tinkerpop 提出并维护的工业界标准的图查询语言，被业界流行图数据库广泛应用，例如 Neo4j 、OrientDB、JanusGraph、Microsoft Cosmos DB 以及 Amazon Neptune。而 GraphScope 中的图查询引擎 GAIA 则是业界首个开源的支持大规模分布式并行化 Gremlin 的系统。然而，尽管 Gremlin 语言的灵活性是它显著的优势，在 GAIA 系统的设计和使用中，我们也发现了一些存在的问题。

现有问题

GAIA 查询系统主要有如下几点弊病：

D1: Gremlin 算子数量繁多，并且对同种语义有多种表达。这就导致为了支持丰富的 Gremlin 算子，GAIA 中需要端到端在各个模块中添加对应的算子，并且算子实现之间可能存在冗余的计算逻辑。
例如，当我们有查看属性的需求时，Gremlin 中可以通过elementMap()、 valueMap()、values()、 select().valueMap()、 project().valueMap()等表达方式得到类似的结果，示例如下：

gremlin> g.V().elementMap() 
==>[id:1,label:person,name:marko,age:29] 
==>[id:2,label:person,name:vadas,age:27]

gremlin> g.V().valueMap('name','age') 
==>[name:[marko],age:[29]] 
==>[name:[vadas],age:[27]]

gremlin> g.V()