记图数据库neo4j在线导入大量数据方案

最新推荐文章于 2024-08-05 13:23:57 发布
最新推荐文章于 2024-08-05 13:23:57 发布
阅读量798 收藏 3
点赞数
分类专栏： 图数据库 eno4j 文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37727274/article/details/107077293
版权

neo4j提供两种在线增加节点和关系的方案：

  1. cyher 语句创建
    将数据从数据源中获取，经过清洗转换，生成cyher语句，使用neo4jSession对象执行cyher语句执行创建
  2. load csv文件
    将数据从数据源中获取，经过清洗转换，生成本地csv文件（注意：一定要生成在neo4j按照目录下的import文件夹），使用neo4jSession对象执行load csv语句，执行导入

以上两种新增数据的方案，只能适用于少量数据，达到万级就会效率非常非常慢，简直不能忍受

好在neo4j提供了官方的导入方式，neo4j-admin脚本，该脚本存在于neo4j/bin目录下，下面就是我导入大量数据的流程：

  1. 首先看一下流程图
    在这里插入图片描述
  2. 流程说明
    1. 从数据源中读取到初始数据，将数据转成节点和关系数据
    2. 将转换后的数据写入csv文件，注意一下以下格式
      1. 每行已逗号隔开
      2. 文件格式为UTF-8
      3. 每行数据要有唯一id，不允许重复，例如：name:ID,value其中name就是唯一ID
      4. 导入默认是string类型，如果有非string类型的数据要指明，例如：name:ID,serviceType:int
      5. 创建关系的标头格式一定要包含这几个：:START_ID,:END_ID,:TYPE
    3. 执行neo4j-admin脚本前，一定要先停止neo4j服务
    4. 备份当前数据，导出文件：bin/neo4j-admin dump --database=graph.db --to=/opt/deploy_software/neo4j/import//1593651698080.dump
    5. 备份完成后，删除数据库文件，因为导入cvs文件到数据库中，必须指明一个空文件的数据库，默认导入的数据库是graph.db数据库，数据库文件地址：data/databases/graph.db
    6. 开始导入csv数据：neo4j-admin import --ignore-extra-columns=true --ignore-missing-nodes=true --ignore-duplicate-nodes=true --nodes:BasicNode /opt/deploy_software/neo4j/import/2020-07-01-nodes-1593651695274.csv --relationships /opt/deploy_software/neo4j/import//2020-07-01-relationship-1593651695275.csv
    7. 恢复刚才备份的文件：bin/neo4j-admin load --database=graph.db --force --from=/opt/deploy_software/neo4j/import//1593651698080.dump
    8. 启动neo4j：bin/neo4j start

以上就完成了neo4j的大量数据导入，下面贴出关键代码，代码有点乱，望理解后在动手。注意，只有关键代码！~~

package com.xxl.job.executor.util;

import java.io.BufferedWriter;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStreamWriter;
import java.util.Map;

/**
 * cvs文件操作类
 * @author yangwei
 *
 */
public class CSVFileUtil {

	BufferedWriter csvWrite = null;

	/**
	 * CSV文件生成方法
	 * 
	 * @param head
	 *            文件头
	 * @param dataList
	 *            数据列表
	 * @param outPutPath
	 *            文件输出路径
	 * @param filename
	 *            文件名
	 * @return
	 */
	public BufferedWriter createCSVFile(String head, String outPutPath, String filename) {
		try {
			File csvFile = new File(outPutPath + File.separator + filename + ".csv");
			File parent = csvFile.getParentFile();
			if (parent != null && !parent.exists()) {
				parent.mkdirs();
			}

			if (!csvFile.exists()) {
				csvFile.createNewFile();
				csvWrite = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(csvFile), "UTF-8"), 1024);
				// 写入文件头部
				writeRow(head);
			} else {
				csvWrite = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(csvFile), "UTF-8"), 1024);
			}
		} catch (Exception e) {
			e.printStackTrace();
		}
		return csvWrite;
	}

	/**
	 * 写多行数据方法
	 * 
	 * @param row
	 * @param csvWriter
	 * @throws IOException
	 */
	public void writeRow(Map<String, String> dataList) throws IOException {
		// 写入文件内容
		for (String row : dataList.keySet()) {
			csvWrite.write(row + "," + dataList.get(row));
			csvWrite.newLine();
		}

	}

	/**
	 * 写一行数据方法
	 * 
	 * @param row
	 * @param csvWriter
	 * @throws IOException
	 */
	private void writeRow(String str) throws IOException {
		// 写入文件内容
		csvWrite.write(str);
		csvWrite.newLine();
	}

}


private void execCommand(String cmd) throws Exception {
		XxlJobLogger.log("execCommand:" + cmd);
		Runtime rt = Runtime.getRuntime();
		Process proc = rt.exec(cmd, null, null);
		InputStream stderr = proc.getInputStream();
		InputStreamReader isr = new InputStreamReader(stderr, "GBK");
		BufferedReader br = new BufferedReader(isr);
		String line = "";
		while ((line = br.readLine()) != null) {
			XxlJobLogger.log("execCommand:" + line);
		}
	}

private void saveNodeList(BasicResourcesInfo basicResourcesInfo, Map<String, String> nodeMap, Map<String, String> relationMap) {
		// 选取一个不为空的数据为起始节点
		String startNode = null;

		if (!StringUtils.isEmpty(basicResourcesInfo.getImei())) {
			if (!nodeMap.containsKey(basicResourcesInfo.getImei())) {
				nodeMap.put(basicResourcesInfo.getImei(), "IMEI,,");
			}
			startNode = basicResourcesInfo.getImei();
		}

		if (!StringUtils.isEmpty(basicResourcesInfo.getIp())) {
			if (!nodeMap.containsKey(basicResourcesInfo.getIp())) {
				nodeMap.put(basicResourcesInfo.getIp(), "IP,," + basicResourcesInfo.getHometown());
			}
			if (!StringUtils.isEmpty(startNode)) {
				if (!relationMap.containsKey(startNode + "," + basicResourcesInfo.getIp())) {
					relationMap.put(startNode + "," + basicResourcesInfo.getIp(), "IP");
				}
			} else {
				startNode = basicResourcesInfo.getIp();
			}
		}

		if (!StringUtils.isEmpty(basicResourcesInfo.getMac())) {
			if (!nodeMap.containsKey(basicResourcesInfo.getMac())) {
				nodeMap.put(basicResourcesInfo.getMac(), "MAC,,");
			}
			if (!StringUtils.isEmpty(startNode)) {
				if (!relationMap.containsKey(startNode + "," + basicResourcesInfo.getMac())) {
					relationMap.put(startNode + "," + basicResourcesInfo.getMac(), "MAC");
				}
			} else {
				startNode = basicResourcesInfo.getMac();
			}

		}

		if (!StringUtils.isEmpty(basicResourcesInfo.getImsi())) {
			if (!nodeMap.containsKey(basicResourcesInfo.getImsi())) {
				nodeMap.put(basicResourcesInfo.getImsi(), "IMSI,,");
			}
			if (!StringUtils.isEmpty(startNode)) {
				if (!relationMap.containsKey(startNode + "," + basicResourcesInfo.getImsi())) {
					relationMap.put(startNode + "," + basicResourcesInfo.getImsi(), "IMSI");
				}
			} else {
				startNode = basicResourcesInfo.getImsi();
			}
		}

		if (!StringUtils.isEmpty(basicResourcesInfo.getPhone())) {
			if (!nodeMap.containsKey(basicResourcesInfo.getPhone())) {
				nodeMap.put(basicResourcesInfo.getPhone(), "PHONE,,");
			}
			if (!StringUtils.isEmpty(startNode)) {
				if (!relationMap.containsKey(startNode + "," + basicResourcesInfo.getPhone())) {
					relationMap.put(startNode + "," + basicResourcesInfo.getPhone(), "PHONE");
				}
			} else {
				startNode = basicResourcesInfo.getPhone();
			}
		}

		if (!StringUtils.isEmpty(basicResourcesInfo.getAccount())) {
			if (!nodeMap.containsKey(basicResourcesInfo.getAccount())) {
				if (!":".equals(basicResourcesInfo.getAccount())) {
					nodeMap.put(basicResourcesInfo.getAccount(), "ACCOUNT," + basicResourcesInfo.getServiceType() + ",");
				}
			}
			if (!StringUtils.isEmpty(startNode)) {
				if (!relationMap.containsKey(startNode + "," + basicResourcesInfo.getAccount())) {
					relationMap.put(startNode + "," + basicResourcesInfo.getAccount(), "ACCOUNT");
				}
			} else {
				startNode = basicResourcesInfo.getAccount();
			}
		}

		if (!StringUtils.isEmpty(basicResourcesInfo.getIdCode())) {
			if (!nodeMap.containsKey(basicResourcesInfo.getIdCode())) {
				nodeMap.put(basicResourcesInfo.getIdCode(), "IDCODE,,");
			}
			if (!StringUtils.isEmpty(startNode)) {
				if (!relationMap.containsKey(startNode + "," + basicResourcesInfo.getIdCode())) {
					relationMap.put(startNode + "," + basicResourcesInfo.getIdCode(), "IDCODE");
				}
			} else {
				startNode = basicResourcesInfo.getIdCode();
			}
		}
	}

Map<String, Object> map = new HashMap<String, Object>();
			map.put("createDate", yesterday);
			int totalPage = (int) (countNum / 100000 + 1);
			map.put("rowNum", 100000);
			// 保存节点及节点关系数据
			Map<String, String> nodeMap = new HashMap<String, String>();
			Map<String, String> relationMap = new HashMap<String, String>();

			// 生成node节点CSV文件数据
			String nodeFileName = yesterday + "-nodes-" + System.currentTimeMillis();
			String head = "name:ID,value,serviceType:int,hometown";
			CSVFileUtil nodeCsvFileUtil = new CSVFileUtil();
			BufferedWriter nodeBufferedWriter = nodeCsvFileUtil.createCSVFile(head, filePath, nodeFileName);

			// 生成relation节点CSV文件数据
			String relationshipFileName = yesterday + "-relationship-" + System.currentTimeMillis();
			CSVFileUtil relationCSVFileUtil = new CSVFileUtil();
			head = ":START_ID,:END_ID,:TYPE";
			BufferedWriter relationBufferedWriter = relationCSVFileUtil.createCSVFile(head, filePath, relationshipFileName);
			for (int i = 0; i < totalPage; i++) {
				try {
					map.put("startRow", i * 100000);
					List<BasicResourcesInfo> list = logStatisticsMonitorDao.findBasicInfoByDate(map);
					XxlJobLogger.log(i + "----------" + totalPage + "---------" + list.size());
					for (BasicResourcesInfo basicResourcesInfo : list) {
						// 转换数据为节点和关系数据
						saveNodeList(basicResourcesInfo, nodeMap, relationMap);
					}
					nodeCsvFileUtil.writeRow(nodeMap);
					nodeMap.clear();
					nodeMap = new HashMap<String, String>();

					relationCSVFileUtil.writeRow(relationMap);
					relationMap.clear();
					relationMap = new HashMap<String, String>();
				} catch (Exception e) {
					e.printStackTrace();
				}
			}

			if (nodeBufferedWriter != null) {
				nodeBufferedWriter.flush();
				nodeBufferedWriter.close();
			}

			if (relationBufferedWriter != null) {
				relationBufferedWriter.flush();
				relationBufferedWriter.close();
			}

			XxlJobLogger.log("清洗节点和关系数据结束，开始导入数据........");
			// 暂停neo4j
			execCommand(filePath + "/../bin/neo4j stop");

			// 导出neo4j中的数据
			dumpFileName = filePath + "/" + System.currentTimeMillis() + ".dump";
			execCommand(filePath + "/../bin/neo4j-admin dump --database=graph.db --to=" + dumpFileName);

			// 删除neo4j中的数据
			execCommand("rm -rf " + filePath + "/../data/databases/graph.db/*");

			// 拼接导入节点关系文件的shell
			StringBuffer sb = new StringBuffer();
			sb.append(filePath + "/../bin/neo4j-admin import ");
			sb.append(" --ignore-extra-columns=true  --ignore-missing-nodes=true --ignore-duplicate-nodes=true");
			if (new File(filePath + "/" + nodeFileName + "/" + ".csv").exists()) {
				sb.append(" --nodes:BasicNode " + filePath + nodeFileName + ".csv");
				if (new File(filePath + "/" + relationshipFileName + ".csv").exists()) {
					sb.append(" --relationships " + filePath + "/" + relationshipFileName + ".csv");
				}
				execCommand(sb.toString());
			} else {
				XxlJobLogger.log("导入节点数据失败，未找到node文件: " + (filePath + "/" + nodeFileName + ".csv"));
			}
			return ReturnT.SUCCESS;
		} catch (Exception e) {
			e.printStackTrace();
			return ReturnT.FAIL;
		} finally {
			try {
				XxlJobLogger.log("开始恢复数据........");
				File graph = new File(filePath + "/../data/databases/graph.db");
				if (graph.exists()) {
					graph.mkdirs();
				}
				if (!StringUtils.isEmpty(dumpFileName) && new File(dumpFileName).exists()) {
					execCommand(filePath + "/../bin/neo4j-admin  load  --database=graph.db  --force --from=" + dumpFileName);
				}
				execCommand(filePath + "/../bin/neo4j start");
				session.run("create index on :BasicNode(name)");
				XxlJobLogger.log("createGraphDataBaseNodes, end.");
			} catch (Exception e) {
				e.printStackTrace();
			}
		}
杨大大-qwer
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【大数据】Neo4j 图数据库使用详解
congge_study的博客
09-17 8238
Neo4j 图数据库使用详解
基于图数据库Neo4j的用户社区发现（一）
Larry的专栏
04-20 995
对于网络中的每一个节点，在初始阶段，Label Propagation算法对每一个节点一个唯一的标签，在每一个迭代的过程中，每一个节点根据与其相连的节点所属的标签改变自己的标签，更改的原则是选择与其相连的节点中所属 标签最多的社区标签为自己的社区标签，这便是标签传播的含义。B：算法采用图遍历发现社区，不适合实时行为触发，在应用上采用定时触发更新，对已存在的社区标识的节点更新社区，新加入节点划分社区。Relationships（关系）关系是用来连接两个节点的，也可以包含多个标签和属性。
Neo4j在线（全量/增量）和离线备份教程（含单机和集群恢复教程）
zwqsir的博客
11-21 2446
本文根据Neo4j3.5官方文档编写。主要介绍离线备份、单机/集群恢复，在线全量/增量备份、单机/集群恢复。 说在前头，Neo4j社区版仅支持离线备份，企业版才支持在线备份。 我用的社区版是3.5.8，企业版是3.5.7，默认数据为graph.db 一、离线备份与恢复 主要是用neo4j-admin dump和neo4j-admin load命令 ...
Neo4j的免费在线培训教程
GraphWay的博客
01-08 1498
对于新的产品和技术，相关资料和介绍也相对处于起步阶段。特别是系统化的、面向不同需要的使用者的教程更加难得。 其实Neo4j的资料除了书籍、网站，还有相当丰富的在线教程，供使用者自我学习。使用方法如下。在安装了Neo4j后，打开浏览器访问Neo4j浏览器，然后在输入Cypher查询的文本框内输入命令： :play 就可以启动相应的在线教程。下面是一些推荐的主题，难度从简单到复杂。 -
用于可视化 Neo4j 图形数据库的 15 种工具
最新发布
hellochenlian的专栏
08-05 1097
基于图形的搜索是 Hume 的主要功能，它创建了一个图形搜索和探索齐头并进的工作流程。该工具由 yWorks（广泛使用的 yFiles JS 库背后的公司）构建，旨在展示 yWorks 框架对图形数据的功能。阅读完后，您应该对图形可视化领域有一个大致的了解，并且（希望）找到适合您可视化需求的工具。对于那些希望通过简单直观的界面开始图形探索的人来说，yWorks 浏览器是一个很好的选择，但与（付费）企业产品相比，它的选项有限。所有可视化工具包都是为特定目的而构建的，因此您必须确保工具的用途符合您的需求。
如何将大规模数据导入Neo4j
人生最遗憾的莫过于：轻易地放弃了不该放弃的,固执地坚持了不该坚持的
05-12 2万+
如何将大规模数据导入Neo4j 项目需要基于Neo4j开发，由于数据量较大（数千万节点），因此对当前数据插入的方法进行了分析和对比。 常见数据插入方式概览 Neo4j Version Language Driver Community 3.0.2 Python neo4j-driver 1.0.0 目前主要有以下
Linux在线安装一个Neo4j图数据库
AnNanDu的博客
05-28 540
1. Neo4j的介绍 可以把Neo看作是一个高性能的图引擎，该引擎具有成熟和健壮的数据库的所有特性。程序员工作在一个面向对象的、灵活的网络结构下而不是严格、静态的表中——但是他们可以享受到具备完全的事务特性、企业级的数据库的所有好处。 Neo是一个网络面向网络的数据库也就是说，它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎，但是它将结构化数据存储在网络上而不是表中。网络（从数学角度叫做图）是一个灵活的数据结构，可以应用更加敏捷和快速的开发模式。 1.1. 特点 1.对象关系的不匹配
[学习笔记]neo4j在线导入节点和关系之load csv
qq_43405375的博客
06-15 1064
neo4j在线导入节点和关系
批量导入数据到neo4j图数据库
lijiachu的博客
10-21 1615
一、简介 从sqlserver中获取数据，根据类型建立节点和关系。 后台：输入数字0，系统自动从0开始添加选定数据库的数据到neo4j; web:用户输入粮虫的ID或名字，系统自动搜索出此粮虫的全部信息，可在页面上进行修改，点击保存，数据库更新数据。 二、实现原理 1.JDBC连接SQLserver和neo4j数据库 SQLserver： ...
Day3-Neo4j图数据库导入数据
qq_32557231的博客
01-13 425
Task 3 Neo4j图数据库导入数据 1.Neo4j图数据库安装 进官方网站：https://neo4j.com/下载neo4j桌面版或者community版本的，自行安装好。 运行neo4j前，需要安装jdk 1.8.0的版本。配置好环境后，在命令行中输入：java -version，查看是否安装成功。 注：neo4j和jdk都需要配置环境变量！！！ 测试neo4j是否安装成功，在命令行中输入：neo4j.bat console，如下图 3 所示： 如图 4 所示，已经开启了neo4j数据库，
java导入数据 neo4j_neo4j批量导入数据的两种解决方案
weixin_31829387的博客
01-12 1517
neo4j批量导入数据有两种方法，第一种是使用cypher语法中的LOAD CSV，第二种是使用neo4j自带的工具neo4j-admin import。LOAD CSV导入的文件必须是csv文件，位置可以是本地的，或通过http、https、ftp等url指定位置。neo4j中关于导入文件的设置是dbms.security.allow_csv_import_from_file_urls，默认为t...
Neo4j大量CSV数据导入测试数据
05-05
Neo4j大量CSV数据导入测试数据，包含运行测试批处理脚本
图数据库（neo4j）学习心得
let_go_on的博客
03-10 4476
图数据库（neo4j）学习心得 什么是图？ ​ 图由两个元素组成：节点、关系 ​ 每一个节点代表一个实体，每一个关系代表两个节点的关联方式 图形数据库是NoSQL数据库的一种类型，它应用图形理论存储实体之间的关系信息。关系型数据库用于存储“关系型”数据的效果并不好，其查询复杂、缓慢、超出预期，而图形数据库的独特设计恰恰弥补了这个缺陷。 图数据库常用领域 社交网络 Facebook, Twitter，Linkedin用它来管理社交关系，实现好友推荐 推荐和个性化 eBay，沃尔玛使用它实现商品实时推荐，给买家
一点neo4j导入数据实践
龙共三金的专栏
08-26 482
neo4j版本 使用3.5.3 unwind 测试使用jdbc批量插入的形式，驱动使用bolt协议，测试发现使用http协议数据库服务端直接承受不了负载不响应请求。 load csv load csv 可以定时提交数据到neo4j，使用语法using periodic commit 10000，这种方式写是很方便的，但是有个问题，比如我们的导入的数据是一个点很多关系的，那我们肯定希望点不能重复，那我们需要使用merge语法来写数据，因为merge = match + create，所以我们需要对点建立索引（
【工程实践】Neo4j图数据库结点批量写入与查询
Dong_ZH的博客
01-04 4766
工作中需要对所有的实体数据进行存储构建实体知识图谱，为基于知识图谱的问答提供数据基础。选择使用Neo4j作为数据库进行存储。以下是关于Neo4j的简介。
neo4j如何扫mysql数据_Neo4j如何对大量数据(千万节点及以上)进行初始化
weixin_42298068的博客
02-19 310
参考文章：如果对大量数据进行初始化加载，那么就用Neo4j-import；增量数据的同步加载又不想暂停数据库服务，那就要用load csv，如果可以忍受数据库的短暂停服，那么Batch-inserter更适合。如果只是想插入少量的数据，且不怎么在乎实时性，那么请直接看Cypher语言。常见的数据插入方式：1.Cypher CREATE 语句，为每一条数据写一个CREATE2.CypherLOAD...
Neo4j批量导入大量csv数据
weixin_43342297的博客
07-22 2428
背景本人在建立知识图谱的过程中需要导入23w条节点之间的关系，把csv放到import下之后就开始导入，导了一晚上没导完，这里说一下如何导入大量的csv文件
图数据库Neo4j实战（全网最详细教程）
热门推荐
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
01-07 4万+
知识图谱，作为人工智能和语义网技术的重要组成部分，其核心在于将现实世界的对象和概念以及它们之间的多种关系以图形的方式组织起来。它不仅仅是一种数据结构，更是一种知识的表达和存储方式，能够为机器学习提供丰富、结构化的背景知识，从而提升算法的理解和推理能力。在人工智能领域，知识图谱的重要性不言而喻。它提供了一种机器可读的知识表达方式，使计算机能够更好地理解和处理复杂的人类语言和现实世界的关系。通过构建知识图谱，人工智能系统可以更有效地进行知识的整合、推理和查询，从而在众多应用领域发挥重要作用。
Java初始化大量数据到Neo4j中(一)
weixin_49456013的博客
09-27 1788
之后执行controller接口，进行数据抽取和导入Neo4j，我开发的时候用的环境，大约有7w个节点，120w条关系。我开发的思路是：1.先将所有的表中数据取出来做为节点 2.根据关系表将这个数据的关系查出来之后组装语句将数据添加到Neo4j中。我刚开始开发的时候，由于对Neo4j的了解并没有很多，第一想到的是用代码通用组装create语句进行创建节点以及关系。业务说明：系统中有很多实体表，每个实体表中有自己的数据，不同实体有一张关系表进行维护。使用Java代码组装CQL语句，用原生session进行。
图数据库neo4j数据打包导出再导入
09-08
2. 导入数据：在新的Neo4j数据库中，首先，将之前导出的.tar文件复制到新的数据库的数据目录。然后，启动新的Neo4j数据库并打开管理界面。在左侧导航栏中选择“导入工具”。在导入工具页面上，选择要导入的.tar文件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值