计算机底层存储,图引擎底层存储的设计与实现-计算机工程.PDF

图引擎底层存储的设计与实现-计算机工程

第40 卷　 第11 期 　 计 算 机 工 程 2014 年11 月

Vol.40　 No.11 　 Computer Engineering November 2014

·体系结构与软件技术 · 文章编号:1000-3428(2014)11-0060-05　 　 　 文献标识码:A　 　 　 中图分类号:TP311

图引擎底层存储的设计与实现

马洪宾,陈贵海

(上海交通大学计算机科学与工程系,上海200240 )

摘　 要:随着社交网络和语义Web 等数据应用的兴起,催生了许多图数据处理产品,包括Neo4j,HyperGraphDB

等,然而这些产品在设计时并未充分考虑图应用对数据可用性和可扩展性的更高要求。 为此,提出一种基于分布

式内存云的图引擎底层建模和存储解决方案。 在内存云上搭建分布式键值引擎,进而在键值存储的基础上对图的

数据进行建模和读写。 在大规模数据集上的实验结果表明,该方案具有较好的图随机访问性能,并能够高效地支

持海量规模的图数据应用。

关键词:图处理;云计算;分布式;数据建模;存储;数据结构

中文引用格式:马洪宾,陈贵海.图引擎底层存储的设计与实现[J].计算机工程,2014 ,40 (11) :60-64 .

英文引用格式:Ma Hongbin,Chen Guihai.Design and Implementation of Underlying Storage for Graph Engine[J].

Computer Engineering,2014 ,40 (11) :60-64 .

Design and Implementation of Underlying Storage for Graph Engine

MA Hongbin,CHEN Guihai

(Department of Computer Science and Engineering,Shanghai Jiaotong University,Shanghai200240 ,China)

【Abstract】 Graphapplicationsrisewiththeemergingof socialnetworkandsemanticWeb,andgeneratemanygraphdata

processing products,includingNeo4j,HyperGraphDB,etc.However,current solutionsfail totakeinto consideration graph

applications’ higherrequirementsondataavailabilityand scalability.Thispaperproposesamodelingand storage solution

based on distributed memory cloud.It takes advantage of the prior work to build a key-value system over the memory

cloud,then builds data modeling and read-write based on it.Experimental results on large scaled datasets show that this

solution hasa good figure random accessperformance,and it can support massive graph applications efficiently.

【Key words】 graph processing;cloud computing;distributed;data modeling;storage;data structure

DOI:10