JanusGraph-Import
janusgraph是一个强大的分布式开源图数据库,但是没有导入数据的方法,要想导入数据你可能有以下选择:
- 导入顶点,然后查询边对应的顶点并插入边。
- 导入顶点,记下顶点id,然后和边join,直接用id插入边
- 使用我提供的方法
假如有以下数据:
VertexLable : USER, ITEM (用户,商品)
EdgeLabel :USER_ITEM (用户购买商品表)
USER :
userid, phone, name, gender, age
123456, 17781818181, Mike, Male, 30
ITEM:
itemid, price, salecount, category
100,100,100, drinking
USERID_ITEM:
userid, itemid, date, address
123456,123,2018-01-01,China
假如有 1 billion 的订单,10 billion 的边(十亿用户和商品,100以交易记录,比较符合淘宝的数据量)
分别使用上面的三种办法所需时间为:大于10天,2天,8个小时。所需要的资源量:很少(因为可以一条一条插入),很多(因为要join),比较多(需要批量导入)
所以如果是生成环境下,推荐大家使用我提供的方法,源码地址:
https://github.com/dengziming/janusgraph-util
使用方法