neo4j 学习记录（二）

最新推荐文章于 2023-02-28 15:46:37 发布

xforce16

最新推荐文章于 2023-02-28 15:46:37 发布

阅读量685

点赞数

Neo4j 导入数据的几种方式对比

1. 遇到的问题

在使用Neo4j时遇到一个问题，需要导入上百亿数据(同时导入节点和关系)，想找一个最合适的方案来导入数据。于是就想测测各种导入方式的效率以及成本。

2. 常见数据导入方式概览

(1) Cypher create 语句，为每一条数据写一个create

(2) Cypher load csv 语句，将数据转成CSV格式，通过LOAD CSV读取数据。

(3) 官方提供的neo4j-import工具，未来将被neo4j-adminimport代替

(4) 官方提供的Java API BatchInserter

(5) 大牛编写的 batch-import 工具

(6) neo4j-apocload.csv +apoc.load.relationship

(7) 针对实际业务场景，定制化开发

这些工具有什么不同呢？速度如何？适用的场景分别是什么？

	create语句	load csv语句	neo4j-import	BatchInster	batch-import	apoc
适用场景		初始化导入增量更新	初始化导入	初始化导入	初始化导入增量更新(有限制)	增量更新
导入速度	很慢1000/s	数k /s	数w/s	数w/s	数w/s	数k/s
实际测试	无	9.5k/s (节点+关系)	12w/s (节点+关系)	1w/s (节点+关系)	1w/s (节点+关系)	4k/s(1亿数据上增量更新) 1w/s(百万数据上增量更新)
优点	1.使用方便 2.可实时插入	1.官方ETL工具 2.可以加载本地/远程CSV 3.可实时插入	1.官方工具 2.占用资源少	1.官方API	1.可以增量更新 2.基于BatchInserter	1.官方ETL工具 2.可以增量更新 3.支持在线导入 4.支持动态传Label RelationShip
缺点	1.速度慢 2.处理数据，拼CQL复杂	1.导入速度较慢 2.不能动态传Label RelationShip	1.需要脱机导入停止Neo4j数据库 2.只能用于初始化导入	1.需要脱机导入停止Neo4j数据库 2.需要在JAVA环境中使用	1.需要脱机导入停止Neo4j数据库	1.速度一般

注释：本次测试使用的id(不是Neo4j id)类型是String，为uuid，如果同一Label下数据不超过2^32，可以用int类型

3. 各种导入方法实际测试

3.1 create

未测试。

批量插入语句

./bin/neo4j-shell-c < /data/stale/data01/neo4j/neo4j_script.cypher

./bin/neo4j-shell -path ./data/dbms/ -conf ./conf/neoo4j.conf -file create_index.cypther

3.2 load csv

load csv 不能动态传Label、RelationShip，所以测试时Label、RelationShip是写死的

数据格式

uuid,name,Label

b6b0ea842890425588d4d3cfb38139a9,"文烁",Label1

5099c4f943d94fa1873165e3f6f3c2fb,"齐贺喜",Label3

c83ed0ae9fb34baa956a42ecf99c8f6e,"李雄",Label2

e62d1142937f4de994854fa1b3f0670a,"房玄龄",Label

3.2.1 导入10w节点

neo4j-sh (?)$ using periodic commit 10000 load csv with headers from "file:/data/stale/data01/neo4j/node_uuid_10w.csv" as line with line create (:Test {uuid:line.uuid, name:line.name});
+-------------------+
| No data returned. |
+-------------------+
Nodes created: 100000
Properties set: 200000
Labels added: 100000
3412 ms

10万数据(只有节点，没有关系)导入用时3.412s

3.2.2 导入1kw节点

neo4j-sh (?)$ load csv from "file:/data/stale/data01/neo4j/node_uuid_1kw.csv" as line return count(*);
+----------+
| count(*) |
+----------+
| 10000010 |
+----------+
1 row
7434 ms
neo4j-sh (?)$ using periodic commit 10000 load csv with headers from "file:/data/stale/data01/neo4j/node_uuid_1kw.csv" as line with line create (:Test {uuid:line.uuid, name:line.name});
+-------------------+
| No data returned. |
+-------------------+
Nodes created: 10000009
Properties set: 20000018
Labels added: 10000009
151498 ms

1千万数据(只有节点，没有关系)导入用时151.498s

3.2.3 导入100w关系

neo4j-sh (?)$ using periodic commit 100000 load csv with headers from "file:/data/stale/data01/neo4j/relathionship_uuid_100w.csv" as line with line merge (n1:Test {uuid:line.uuid1}) merge (n2:Test {uuid:line.uuid2}) with * create (n1)-[r:Relationship]->(n2);
+-------------------+
| No data returned. |
+-------------------+
Relationships created: 1000000
75737 ms

创建100w关系用时75.737s

因为我节点已经提前导入了，所以merge的时候节点全部存在，根据结果可以看到，只创建了100w关系，没有创建节点

但是这种方式有一个弊端，关系要写死，在只有一种关系时试用，在有多种关系时，不适用。还有一个不好的地方就是用的merge，uuid是String类型，会随着数据的正常速度变慢。

load csv 的速度我用的是导入节点时间+导入关系时间

导入100w 节点+数据 (Label写死，RelationShip写死，也就是只有一种Label和一种RelationShip) 共花费15.149 + 75.737 = 90.886 。load csv的速度大概在1.1w/s，但这种情况一般很少使用，仅供参考。

3.3 neo4j-import

3.3.1 数据格式

node.csv

uuid:ID(users),name:String,:Label
c63bc1e7dc594fd49fbe36dd664ff0a6,"维特",Label1
b52fb5f2266b4edbadc82b5ec4c430b8,"廖二松",Label2
d95d430cfeee47dd95f9bf5e0ec1ae93,"徐青偏",Label3
b2d1fffc8173461fa603d4fbb601b3ee,"杨础维",Label2

relationship.csv

uuid:START_ID(users),uuid:END_ID(users),:TYPE
c63bc1e7dc594fd49fbe36dd664ff0a6,b2d1fffc8173461fa603d4fbb601b3ee,RelationShip1
d95d430cfeee47dd95f9bf5e0ec1ae93,c63bc1e7dc594fd49fbe36dd664ff0a6,RelationShip2
b2d1fffc8173461fa603d4fbb601b3ee,b52fb5f2266b4edbadc82b5ec4c430b8,RelationShip3
b52fb5f2266b4edbadc82b5ec4c430b8,d95d430cfeee47dd95f9bf5e0ec1ae93,RelationShip1

3.3.2 导入1000w数据

IMPORT DONE in 27s 932ms. 
Imported:
  10000000 nodes
  10000000 relationships
  20000000 properties
Peak memory usage: 209.81 MB

空库初始化导入1千万数据(1kw节点 1kw关系 2kw属性，id使用integer，属性中只有数字和英文)花费27s 932ms

3.3.3 导入1000w数据

IMPORT DONE in 1m 50s 9ms. 
Imported:
  10000000 nodes
  10000000 relationships
  20000000 properties
Peak memory usage: 209.81 MB

空库初始化导入1千万数据(1kw节点 1kw关系 2kw属性，包含中文属性)花费1min 50s 9ms

3.3.4 导入1.1y数据

IMPORT DONE in 15m 9s 37ms. 
Imported:
  110000010 nodes
  110000000 relationships
  220000020 properties
Peak memory usage: 2.27 GB
There were bad entries which were skipped and logged into /data/stale/data01/neo4j/neo4j-community-3.1.0/data/databases/test_uuid_1y_graph.db/bad.log

空库初始化导入1.1亿数据(1.1亿节点 1.1关系 2.2亿属性)花费15min 9s 37ms

3.4 BatchInster

batch-import调的BatchInserter的代码，所以BatchInserter没测，可以认为BatchInster和batch-import速度一样

3.5 batch-import

数据格式

node.csv

uuid:string:users,name:String,:label
c63bc1e7dc594fd49fbe36dd664ff0a6,"维特",Label1
b52fb5f2266b4edbadc82b5ec4c430b8,"廖二松",Label2
d95d430cfeee47dd95f9bf5e0ec1ae93,"徐青偏",Label3
b2d1fffc8173461fa603d4fbb601b3ee,"杨础维",Label2

relationship.csv

uuid:string:users,uuid:string:users,type
c63bc1e7dc594fd49fbe36dd664ff0a6,b2d1fffc8173461fa603d4fbb601b3ee,RelationShip1
d95d430cfeee47dd95f9bf5e0ec1ae93,c63bc1e7dc594fd49fbe36dd664ff0a6,RelationShip2
b2d1fffc8173461fa603d4fbb601b3ee,b52fb5f2266b4edbadc82b5ec4c430b8,RelationShip3
b52fb5f2266b4edbadc82b5ec4c430b8,d95d430cfeee47dd95f9bf5e0ec1ae93,RelationShip1

Using: Importer batch.properties /data/stale/data01/neo4j/neo4j-community-3.1.0/data/databases/test_uuid_1000w_graph.db /data/stale/data01/neo4j/node_uuid_100w.csv /data/stale/data01/neo4j/relationship_uuid_100w.csv
  
Using Existing Configuration File
..........
Importing 1000000 Nodes took 15 seconds 
..........
Importing 1000000 Relationships took 16 seconds 
  
Total import time: 92 seconds

在数据库中已有1kw数据的情况下，导入100w数据(100w节点 100w关系 200w属性，包含中文属性)花费92s

3.6 apoc

load csv + merge + apoc.create.relationship

neo4j-sh (?)$ using periodic commit 1000000
> load csv from 'file:/data/stale/data01/neo4j/relathionship_uuid_1kw.csv' as line fieldterminator ','
> merge (n1:Test {uuid: line[0]})
> merge (n2:Test {uuid: line[1]})
> with n1, n2, line
> CALL apoc.create.relationship(n1, line[2], {}, n2) YIELD rel
> return count(rel) ;
+------------+
| count(rel) |
+------------+
| 10000010   |
+------------+
1 row
Nodes created: 8645143
Properties set: 8645143
Labels added: 8645143
2395852 ms

在1.1亿数据上增量更新1kw数据花费2395.852s

VIRT Memory 90G RES Memory 78G

因为这部分也用到merge了，数据量越大，速度越慢

4. 结论

根据实际情况选用最好的方式

(1) neo4j-import导入速度快，但是要求是空库，导入时要停止neo4j，也就是脱机导入，而且你要提前处理好数据，数据最好不要有重复，如果有重复，可以导入时跳过，然后根据bad.log来查看或者修正这部分数据

(2) batch-import可以增量导入，但是要求导入时停止neo4j数据库(脱机导入)，而且增量更新的数据不会和库里存在的数据对比，所以要求数据全是新的，否则会出现重复数据

(3) load csv比较通用，而且可以在neo4j数据库运行时导入，但是导入速度相对较慢，要提前整理好数据，而且不能动态创建 Label RelationShip

(4) apoc挺好用的，可以动态创建Label、RelationShip，但是速度一般

xforce16

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
neo4j 学习记录（二）

Neo4j 导入数据的几种方式对比1. 遇到的问题在使用Neo4j时遇到一个问题，需要导入上百亿数据(同时导入节点和关系)，想找一个最合适的方案来导入数据。于是就想测测各种导入方式的效率以及成本。 2. 常见数据导入方式概览 (1) Cypher create 语句，为每一条数据写一个create(2) Cypher load csv 语句，将数据转成C...
复制链接

扫一扫