datax关系/图数据库(neo4j)插件设计与实现

背景

DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。

图库是属于newsql/nosql, 近几年应用火热的数据库类型，广泛用于金融风控，社交，制造等领域

datax没有实现图数据库相关插件，但datax提供很好的插件机制，可自行实现

参考和术语

ETL Extract-Transform-Load的缩写， 数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端

图数据库

datax原理介绍

 *官方图，Transport处是Channel，本人觉得不太准确，应为Transport

> 作业分解为任务，任务分组，最后调度器调度任务(组)

*作业分片和任务分组没有在高可用中

> 调度器负责分派资源执行任务(组)，TaskEecutor执行任务

> transport包括数据交换(exchanger)，数据转换(transformer)，交换数据字节数/记录数的统计(channel)

关系/图数据库插件

架构设计

数据同步分3步

0. 模式(schema)转换构建，并输出，序列化或数据库持久

1. 表数据同步，datax表模式，schema表写入datax的表模式配置

2. 表关系同步，按表表连接图分组，一对关系一组，表连接关系生成querySql，写入写入datax的querySql模式配置

其中后两步DataX执行，作业驱动两个datax作业串行

关系(oracle)数据和图数据映射策略

这里展示的是oracle，mysql/sqlserver类似

映射策略，oracle<->neo4j

oracle schema	映射策略	neo4j schema	备注
库	/	/
表	/	/
名称		Lable
字段	/	/	没有直接映射，字段定义，名称/类型被其他映射参考
行数据	表一行数据映射为节点，表名映射为节点的Label	节点
字段(值)	字段名/字段值 检查是否已存在，防止冗余字段 空值不处理	节点属性
连接表	连接表映射为关系，表名映射为关系的Label	关系	连接表需人工识别
字段(值)	同行数据字段	关系属性
索引
BTree	根据索引字段转换，单属性和复合属性，分3个情况： 外键字段  转换为关系对应属性索引 连接表字段 字段转换为关系对应属性索引 其他字段，对应节点属性索引	节点属性索引 关系属性索引	约束映射后
Hash	/	/	无适合映射 neo4j lookup index按理解对应hash或位图，v4.3的特性
位图	/	/
约束
主键	/	/	没有特别处理，主键字段按一般字段处理，转换为节点或关系属性； 增加属性唯一约束
外键	若是连接表外键不处理 映射为关系，名称映射为关系Label	关系
唯一		属性唯一约束
非空		属性存在约束
检查	/	/	无对应映射
默认	/	/	无对应映射

*oracle模型注释没有合适映射

*neo4j索引还有以下特性，oracle没有对应特性转换：

1. 提供者(provider)，索引的技术实现， 如，native-btree-1.0 and lucene+native-3.0等

2. text  index

lookup  index(since v4.3)

full-text  index

详细设计

schema转换组件(schema-transformer)

• schema模型

 模式转换设计

 schema转换器以图方式遍历schema，遍历到组件获取对应的映射器，映射为neo4j的schema

mapping组件封装转换策略，参考关系(oracle)数据和图数据映射策略

数据同步(data-transformer)组件

驱动两个datax作业

1. 第一个作业，表数据同步，datax table模式， schema的表写入datax的table模式配置；同时支持用户配置表，特别地，当用户配置单个表是，可使用datax的单表分片特性，该特性用于针对数据量超大的表

2. 第二个作业，表关系同步，按表连接图分组，一对关系一组，表连接关系生成querySql，写入datax的querySql模式配置

工程解释

• 工程结构

• scanner

数据库schema扫描，目前只有关系数据库 scanner；关系数据库schema模型

• transformer

这里的transformer是模式的转换，并非datax的转换器，datax的转换器是record转换

• common

定义record实现，TableRecord和RelRecord，派生自Record，分表对应表同步和关系同步

• mysqlreader4graph/oraclereader4graph/rdbms-utils

mysqlreader4graph/oraclereader4graph 与datax自带没有什么变化

rdbms-utils 主要改动地方，OriginalConfPretreatmentUtil结合schema写入table/querySql配置

• neo4jWriter

接收两阶段record，TableRecored和RelRecord，构造neo4j query，

• neo4jDao

record动态的，只有使用原生的Driver，支持参数化，事务; 重试

• rdb2graph-datax

主入口，串行驱动连个datax engine

demo

本节展示如何使用组件转换关系数据到neo4j，使用mysql的sakila库作为示例

 扫描数据库/设置连接表

扫描器扫描出数据库的schema，包括表元数据，字段元数据，约束和索引，

扫描没有识别那些表是连接表，需要扫描后处理

SchemaSerTest

 schema转换

代码来自SchemaTransformerTest

两个api，传入数据源转换；传入schema转换

其中，第一种适合不需要连接表后处理的情况

1. 数据同步

同步分两阶段，表行数据同步和表关系同步

 另有，file_actor和file_category是连接表，转换为关系

 关系，其中file_category和file_actor是连接表转成关系

效果

关系

  索引和约束

源码

datax关系/图数据库插件-Java文档类资源-CSDN下载

 附录

• datax job配置

table模式或querySql模式