RedisGraph利用redisgraph-bulk-loader批量导入数据

最新推荐文章于 2024-03-12 11:29:42 发布
最新推荐文章于 2024-03-12 11:29:42 发布
阅读量718 收藏
点赞数 1
分类专栏： redisgraph 文章标签： nosql 后端 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011572265/article/details/112198706
版权

目录

 

前言

一、redisgraph-bulk-loader介绍

二、使用步骤

1.要求

2.创建docker network

3.创建docker redisgraph

4.安装python3解释器

5.生成csv文件 

实体属性

标签文件格式：

关系文件

         输入模式

ID命名空间

 

前言

作者使用的是docker版本的redisgraph

一、redisgraph-bulk-loader介绍

用于从CSV输入构建RedisGraph数据库的Python实用程序

二、使用步骤

1.要求

批量加载器实用程序需要Python 3解释器。

2.创建docker network

代码如下（示例）：

docker network create data-import

3.创建docker redisgraph

docker run -p 6379:6379 -d  --network data-import --network-alias redisgraph --name redisgraph redislabs/redisgraph

4.安装python3解释器

docker run -it  --network data-import --network-alias python --name python python


1）.docker run -it --name python python bash
2）.退出
3）.docker start python
4）.docker run -it python bash
5)  .安装 pip install redisgraph-bulk-loader 

5.生成csv文件 

假设已经有数据

List<DeviceFolderCacheDto> pointsList = new ArrayList<>();
CSVUtils.assetsToCsvFile(topic.getFolderId()+"",deviceFolderCacheDtoList);
/**
     * 生成csv文件
     * @param pointsList
     * @return
     */
    public static void assetsToCsvFile(String graphName, List<DeviceFolderCacheDto> pointsList){
        log.info("assetsToCsvFile-inCnt:"+pointsList.size());
        // 表格头,按照redisgraph-bulk-loader格式要求创建
        String[] headArr = new String[]{":ID(Assets)","system_folderId:STRING","system_folderName:STRING","system_tenantId:STRING","system_folderMark:STRING","system_nodeType:STRING","system_code:STRING","system_parentId:STRING","system_folderDesc:STRING"};
        //CSV文件路径及名称
        String filePath = mainFilePath+graphName; //CSV文件路径
        String fileName = "Assets.csv";//CSV文件名称
        File csvFile = null;
        BufferedWriter csvWriter = null;
        try {
            csvFile = new File(filePath + File.separator + fileName);
            log.info("assetsToCsvFile-csvFile:{}",csvFile.getAbsolutePath()+ csvFile.getName());
            File parent = csvFile.getParentFile();
            log.info("assetsToCsvFile-parent:{}",parent.getAbsolutePath()+parent.getName());
            if (parent != null && !parent.exists()) {
                boolean flag = parent.mkdirs();
                log.info("assetsToCsvFile-parent.mkdirs():{}",flag);
            }
            boolean flag = csvFile.createNewFile();
            log.info("assetsToCsvFile-csvFile.createNewFile():{}",flag);
            csvWriter = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(csvFile), "UTF-8"), 1024);

            // 写入文件头部标题行
            csvWriter.write(String.join("|", headArr));
            csvWriter.newLine();

            // 写入文件内容
            int cnt = 0;
            int totalCnt = 0;
            if(pointsList!=null && pointsList.size() > 0){
                for (DeviceFolderCacheDto points : pointsList) {
                    csvWriter.write(points.toRow());
                    cnt ++;
                    if(cnt>=1000){
                        csvWriter.flush();
                        cnt = 0;
                    }
                    totalCnt++;
                    csvWriter.newLine();
                }
            }
            csvWriter.flush();
            log.info("assetsToCsvFile-outCnt:"+totalCnt);
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            try {
                csvWriter.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }

 

python3 redisgraph_bulk_loader/bulk_insert.py GRAPHNAME [OPTIONS]
FlagsExtended flagsParameter
-h--host TEXTRedis server host (default: 127.0.0.1)           redisgraph地址：docker版本地址为容器名
-p--port INTEGERRedis server port (default: 6379)
-a--password TEXTRedis server password (default: none)
-n--nodes TEXTPath to Node CSV file with the filename as the Node Label    指定节点，如果有多个节点，可这么写  --node xxx.csv  --node xxx2.csv ，文件名则为node名称
-N--nodes-with-label TEXTNode Label followed by path to Node CSV file
-r--relations TEXTPath to Relationship CSV file with the filename as the Relationship Type  同节点写法
-R--relations-with-type TEXTRelationship Type followed by path to relationship CSV file
-o--separator CHARField token separator in CSV files (default: comma)     CSV文件分隔符，建议使用一个| 或者多个|，因为逗号经常容易出错
“”“”-d--enforce-schemaRequires each cell to adhere to the schema defined in the CSV header     强行按照自定义表头的类型进行录入，不过不指定则按照默认推断
-s--skip-invalid-nodesSkip nodes that reuse previously defined IDs instead of exiting with an error  跳过错误node而不是退出
-e--skip-invalid-edgesSkip edges that use invalid IDs for endpoints instead of exiting with an error  跳过错误边而不是退出
-q--quote INTThe quoting format used in the CSV file. QUOTE_MINIMAL=0,QUOTE_ALL=1,QUOTE_NONNUMERIC=2,QUOTE_NONE=3
-t--max-token-count INT(Debug argument) Max number of tokens sent in each Redis query (default 1024)
-b--max-buffer-size INT(Debug argument) Max batch size (MBs) of each Redis query (default 4096)
-c--max-token-size INT(Debug argument) Max size (MBs) of each token sent to Redis (default 500)
-i--index Label:PropertyAfter bulk import, create an Index on provided Label:Property pair (optional)
-f--full-text-index Label:PropertyAfter bulk import, create an full text index on provided Label:Property pair (optional)

实体属性

  • 无需明确提供属性类型。
  • 属性不需要专门由任何类型组成。
  • 批量加载器当前支持的类型为：
    • boolean：true或false（不区分大小写，不加引号）。
    • integer：一个无引号的值，可以将其读取为整数类型。
    • double：一个无引号的值，可以将其读取为浮点类型。
    • string：任何用引号插入或不能转换为数字或布尔类型的字段。
    • array：任何类型的元素的括号内插数组。数组中的字符串必须明确地用引号插入。数组属性要求对CSV（-o）使用非逗号分隔符。
  • Cypher不允许将NULL值分配给属性。
  • 默认行为是推断属性类型，尝试按该顺序将其强制转换为整数，浮点数，布尔值或字符串。
  • 的--enforce-schema标志和一个输入模式，如果类型推断不期望应使用。

标签文件格式：

  • 每行必须具有相同数量的字段。
  • 前导和尾随空格将被忽略。
  • 如果不使用Input Schema，则标签文件的第一个字段将是节点标识符，如Node Identifiers中所述。
  • 所有字段都是将与每个节点关联的属性键。

关系文件

  • 每行必须具有相同数量的字段。
  • 前导和尾随空格将被忽略。
  • 如果不使用Input Schema，则每行的前两个字段是源节点标识符和目标节点标识符。标头中这些字段的名称无关紧要。
  • 如果文件具有两个以上的字段，则所有后续字段都是关系属性，它们遵循与节点属性相同的规则。
  • 所描述的关系始终被认为是定向的（源->目标）。

输入模式

如果--enforce-schema指定了该标志，则所有输入的CSV均应在标题中指定每一列的数据类型。

此格式取消了默认CSV格式的一些限制，例如ID字段为第一列。

大多数标题字段应为属性名称及其数据类型的冒号分隔对，例如Name:STRING。某些数据类型不需要名称字符串，如下所示。

可接受的数据类型为：

Type StringDescriptionRequires name string
IDLabel files only - Unique identifier for a nodeOptional
START_IDRelation files only - The ID field of this relation's sourceNo
END_IDRelation files only - The ID field of this relation's destinationNo
IGNOREThis column will not be added to the graphOptional
DOUBLE / FLOATA signed 64-bit floating-point valueYes
INT / INTEGER / LONGA signed 64-bit integer valueYes
BOOLEANA boolean value indicated by the string 'true' or 'false'Yes
STRINGA string valueYes
ARRAYAn array value

ID命名空间

通常，节点标识符在所有输入CSV中必须唯一。使用输入模式时，（可选）可以创建ID名称空间，并且标识符仅需要在其名称空间中是唯一的。当每个输入CSV的主键相互重叠时，这特别有用。

要引入名称空间，请在:ID类型字符串后加上括号内插的名称空间字符串，例如:ID(User)。应该在关系文件的:START_ID或:END_ID字段中指定相同的名称空间，如中所述:START_ID(User)。

 引用连接：https://github.com/redisgraph/redisgraph-bulk-loader

最终生成的命令示例：

python3 redisgraph-bulk-loader 3661091848455168 --host redisgraph --port 6379 --enforce-schema --separator '|' --skip-invalid-edges --nodes /data/redisgraph-data/3661091848455168/Point.csv --nodes /data/redisgraph-data/3661091848455168/Assets.csv  --relations /data/redisgraph-data/3661091848455168/assets_assets.csv --relations /data/redisgraph-data/3661091848455168/assets_point.csv

在python3容易的/usr/local/bin 下面执行该命令则可以导入数据 

注：一个图只能一次性生成，如果已经存在该图名称则报错

那一年天空很高风很清澈
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sass-bulk-import-loader:使用Webpack导入SCSS中的目录
05-04
sass-bulk-import-loader 该Webpack加载程序基于Matthew Conlen的gulp 安装 npm install --save-dev sass-bulk-import-loader 用法 @import " some/path/* " ; // becomes // @import "some/path/file1.scss"; // @import "some/path/file2.scss"; // ... 然后添加加载程序以require调用 require ( 'css!sass!sass-bulk-import!./styles.scss' ) ; 或webpack配置 { test : / \. scss $ / , loader : 'style!css!sass!sass-bulk-impo
基于python的redisGraph简介及实现
sinat_32651363的博客
05-25 2298
RedisGraph探索结果官方文档 基于Github上2018年6月24日更新版本 文章目录RedisGraph探索结果[官方文档](https://oss.redislabs.com/redisgraph/)1.RedisGraph是什么?2.RedisGraph能做什么?功能介绍3.如何使用Redisgraph?构建RedisGraph模块加载RedisGraph(Redis4.0及以上...
探索 RedisGraph: 高性能图数据库
最新发布
gitblog_00009的博客
03-12 419
探索 RedisGraph: 高性能图数据库 RedisGraph 是一款高性能的图数据库，提供了高效的图形处理能力。它可以在 Redis 内存中存储和查询大规模图数据。本文将详细介绍 RedisGraph 的特性和应用场景，并给出如何使用它的建议。 一、什么是 RedisGraph？ RedisGraph 是一个基于 Redis 的高性能图数据库系统，用于存储和查询大型图数据。它采用了图形建模语...
braacket-bulk-add:批量导入锦标赛到Braacket
05-08
Braacket批量添加 批量导入锦标赛到。 同时支持Challonge和Smash.gg括号。 没有Braacket API，因此这可以自动完成无头浏览器的操作，该浏览器可以通过单击添加锦标赛来进行点击。 每次比赛大约需要40秒。 安装 npm install 依存关系 用于自动执行浏览器。 用法 使用您的Braacket凭证和联赛名称填写config/default.json 。 node braacket-bulk-add.js FILE 其中FILE是用换行符分隔的锦标赛URL列表。 挑战-tourneys.js challonge-tourneys.js脚本可用于获取Challonge组织创建的所有锦标赛的列表。
clickhouse-bulk:将许多小插入物收集到ClickHouse并发送大插入物
05-14
ClickHouse-Bulk 简单的插入收集器。 它收集请求并将其发送到ClickHouse服务器。 安装 为您 或者 或从来源（转到1.13及更高版本）： git clone https://github.com/nikepan/clickhouse-bulk cd clickhouse-bulk go build 特征 将n个请求分组并发送到任何ClickHouse服务器 按时间间隔发送收集的数据 经过VALUES和TabSeparated格式的测试 支持多台服务器发送 支持查询参数和正文中的查询 支持其他查询参数，例如用户名，密码，数据库 支持基本认证 例如： INSERT INTO table3 (c1, c2, c3) VALUES ( ' v1 ' , ' v2 ' , ' v3 ' ) INSERT INTO table3 (c1, c2, c3) VALUES (
babel-plugin-bulk-import：批量导入的Babel插件
01-31
babel-plugin-bulk-import Babel插件，用于批量导入。 这对于模块化客户端（或客户端和服务器端）项目很有用。 服务器端项目几乎无法从此插件中受益，因为它可以直接通过fs或glob模块轻松完成。 通常，在模块化系统中，模块要么在引擎的公开端点内注册自己，要么引擎自己发现模块（插件）。 两种方法都有其缺点，特别是当您的项目需要Webpack的时候。 可以说，当创建新模块/功能/插件时，此插件提供了某种自动化。 我确定您有自己的用例，但是这里是我的示例： 项目结构 . ├── modules | ├── landing | | └── features | └── profile | └── features └── src └── index.js 目标 我想要实现的是，每当在./modules目录中创建一个新模块时，我都希望它以尽可能少的手动操作被注入到我的引擎（ ./src/index.js ）中。 问题 为了最大程度地减少手工工作量，并最大程度地减少潜在错误的数量，我希望引擎能够自动发现所有可用模块。 可以通过扫描.
server sql 中类型为bit应该插入什么值_Access“是/否”类型字段与SQL Server bit类型字段你需要知道的-红尘如烟...
weixin_39653320的博客
12-22 595
目前各位使用 Access 进行开发的老家伙们对于后台数据库，普遍的模式是：起初先使用 Access 作为数据库，然后在使用中不断完善。一段时间后，软件变复杂了，数据量也变大了，原来的 Access 数据库就跟不上。这个时候就会升级为 SQL Server 数据库。当然，这也是我们推荐的方式。逐步推进，慢慢累积，只要你能坚持下来，基本上很难失败。而如果想要一口吃成胖子，一次性就要上一个大而全的系统...
RedisGraph概述
qq_49588762的博客
10-03 2632
RedisGraph概述
redisGraph
sinat_32651363的博客
04-08 1022
什么是GraphRedis？它是redis的一个分支，它是一个支持字符串，列表，哈希，集合和有序集合的数据结构服务器。项目的目标是通过添加图形支持来扩展redis 。官方参考文档：点击打开链接节点搭建：gnode graph1 a b c d e节点权值：gedge graph1 a b 1 gedge graph1 b c 1 gedge graph1 c d 1 gedge graph1 d ...
MySQL
qq_53895159的博客
07-29 451
1.简单的DDL DDL : Data Definition Language 数据库定义语言 比如更改表名 alter table 表名 rename 新表名; 更改字段名 alter table 表名 change 列名 新列名 数据类型; 更改表的列名 和 数据类型 当然数据类型可以不改,但是必须得写, 如 alter table t_teacher change nameteacher_namevarchar(20); 添加字段 alter table 表名add 列名类型; ..
RedisGraph-benchmark: 使用LDBC SNB、redisgraph-bulk-loader和hiredis测试RedisGraph性能
qq_49588762的博客
02-11 277
RedisGraph-benchmark: 使用LDBC SNB、redisgraph-bulk-loader和hiredis测试RedisGraph性能
kettle oracle批量加载-Oracle Bulk Loader
09-19
kettle快速加载到oracle之oracle批量加载-Oracle Bulk Loader
开源自定义数据中台AllData第一章
热门推荐
AllDataDC的博客
11-27 1万+
About 🔥🔥 AllData科学护城河：一种在数据驱动的科学和研究领域中，保护和维护数据的竞争优势和独特性的解决方案。AllData通过汇聚大数据与AI领域生态组件,提供自定义化数据中台。包括大数据生态方案,人工智能生态方案,大数据组件运维方案,大数据开发治理方案,机器学习方案,大数据SQL开发ChatGPT方案,数据集成方案,湖仓分析方案。通过社区文档了解更多内容：https://docs.qq.com/doc/DVHlkSEtvVXVCdEFo
缓存之王 Caffeine 架构、源码、原理 （5W长文）
竹林幽深
04-07 941
发表于湖南疯狂创客圈（技术自由架构圈）：一个 技术狂人、技术大神、高性能 发烧友 圈子。圈内一大波顶级高手、架构师、发烧友已经实现技术自由；另外一大波卷王，正在狠狠卷，奔向技术自由29篇原创内容公众号。
主流开源分布式图数据库 Benchmark
weixin_44324814的博客
10-21 2772
本文由美团 NLP 团队高辰、赵登昌撰写 首发于 Nebula Graph 官方论坛：https://discuss.nebula-graph.com.cn/t/topic/1377 1. 前言 近年来，深度学习和知识图谱技术发展迅速，相比于深度学习的“黑盒子”，知识图谱具有很强的可解释性，在搜索推荐、智能助理、金融风控等场景中有着广泛的应用。美团基于积累的海量业务数据，结合使用场景进行充分地挖掘关联，逐步建立起包括美食图谱、旅游图谱、商品图谱在内的近十个领域知识图谱，并在多业务场景落地，助力本地生活.
Docker安装完全体版本Redis
qq_40662424的博客
03-15 4057
文章目录前言一、RedisMod简介二、安装1.使用如下命令下载RedisMod的镜像：2.在容器中运行RedisMod服务。3.进入容器查看安装的module三、测试使用过滤器1.四种过滤器2.布隆过滤器使用3.布谷鸟过滤器使用4.count-min sketch使用（留坑后填）5.top-k使用（留坑后填）四、过滤器原理详解（留坑后填）1.bloom filter2.cuckoo filter3.count-min sketch4.top-k五、过滤器客户端（留坑后填） 前言 最近在一篇文章中看到re
server sql 中类型为bit应该插入什么值_关于SQL Server中bit类型字段增删查改的一些事...
weixin_33445134的博客
01-13 934
关于SQL Server中bit类型字段增删查改的一些事前言本文主要给大家介绍了关于SQL Server中bit类型字段增删查改的一些事，话说BIT类型字段之前，先看“诡异”的一幕，执行Update成功，但是查询出来的结果依然是1，而不是Update的2当别人问起我来的时候，本人当时也是处于懵逼状态的，后面联想具体的业务突然想起来这个字段是bit类型的如果把这个现象跟BIT类型字段连续起来就不觉得...
access 数据类型
java电商源码分享
10-08 2480
数据类型存储量大小说明BINARY每个字符占 1 个字节任何类型的数据都可以存储在这种类型的字段中。不进行数据转换（例如，转换成文本）。数据怎样输入到二进制字段就怎样作为输出显示，BIT1 个字节值为 Yes 和 No，并且该字段只能取这两个值中的一个。TINYINT1 个字节在 0 和 255 之间的整数值。MONE
ireport修改jrxml中的sql语句_如何用SQL语句添加和修改字段？
weixin_39830303的博客
11-27 342
用SQL语句添加字段并不难，下面小编整理了SQL添加和修改字段的基本命令，希望对各位小伙伴有所帮助。增加字段：alter table 表名 add 字段名 type not null default 0在指定位置插入新字段:alter table 表名 add [column] 字段名 字段类型 是否可为空 comment '注释' after 指定某字段 ;删除字段：alter table 表名...
HBase BulkLoad批量写入数据
03-29
HBase的BulkLoad（批量加载）是一种高效的方式，可以将大量数据快速地导入到HBase表中。相比于逐条写入数据，BulkLoad可以减少网络传输、HBase服务端处理和数据文件写入的开销，从而提高数据导入的速度。 BulkLoad的实现方式是将数据先写入到一个HFile文件中，然后再将HFile文件上传到HDFS中，最后使用HBase的BulkLoad API将数据加载到HBase表中。这个过程需要以下步骤： 1. 创建HFile文件：使用HBase的HFileOutputFormat工具类可以创建一个HFile文件，将数据写入到该文件中。 2. 将HFile文件上传到HDFS：使用Hadoop的hdfs命令或者Java API将HFile文件上传到HDFS中。 3. 加载HFile文件到HBase表中：使用HBase的BulkLoad API将HFile文件加载到HBase表中。 BulkLoad的优点是可以快速地导入大量数据，但是需要注意以下几点： 1. BulkLoad需要手动编写代码实现，需要一定的编程技能。 2. BulkLoad需要将数据写入到HFile文件中，如果数据量太大可能会导致HFile文件过大，需要考虑分片等优化策略。 3. BulkLoad需要将HFile文件上传到HDFS中，如果网络传输较慢可能会影响导入速度。 总之，BulkLoad是一种高效的数据导入方式，可以加快大量数据的导入速度，但需要注意数据量、网络传输等因素对导入速度的影响。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值