DataX官方概述
DataX是一个异构数据源离线同步工具,致力于实现包括关系型数据库(Mysql、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
设计理念
为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候,只需要将此数据源对接到DataX,便能跟已有的数据源做到无缝数据同步。
-
当前使用现状
DataX在阿里巴巴集团内被广泛使用,承担了所有大数据的离线同步业务,并已持续稳定运行了6年之久。目前每天完成同步8w多道作业,每日传输数据量超过300TB。
DataX3.0框架设计
DataX本身作为离线数据同步框架,采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件,纳入到整个同步框架中。
- Reader:Reader为数据采集模块,负责采集数据源的数据,将数据发送给Framework。
- Writer: Writer为数据写入模块,负责不断向Framework取数据,并将数据写入到目的端。
- Framework:Framework用于连接reader和writer,作为两者的数据传输通道,并处理缓冲,流控,并发,数据转换等核心技术问题。
DataX的windows安装
- 检测运行环境: jdk (1.6以上) java -version python (2.6以上) python --version
- DataX3.0下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
- 将下载好的DataX3.0的压缩包进行解压到指定的目录
- 进入到DataX3.0的bin目录下执行命令:python datax.py ../job/job.json
- 得到以下结果:
如果满足5的结果,说明DataX能够正常使用了。
DataX3.0的使用
我们配置一组从Mysql数据库到另一个Mysql数据库的例子:
- 创建所要执行的配置文件(json格式,在bin目录下创建即可)
- 可以通过命令来查看配置模板 :python datax.py -r mysqlreader -w mysqlwriter
也可以通过GitHub地址查看文档
-
根据配置文件模板填写相关内容
具体配置文件mysqlTomysql.json的内容如下(从一个mysql数据库到另一个mysql数据库的例子)
{
"job": {
"setting": {
"speed": {
"channel": 3
},
"errorLimit": {
"record": 0,
"percentage": 0.02
}
},
"content": [
{
"reader": {
"name": "mysqlreader",
"parameter": {
"username": "root",
"password": "20142266",
"column": [
"id",
"name",
"password",
"phone"
],
"splitPk": "id",
"connection": [
{
"table": [
"tb_user1"
],
"jdbcUrl": [
"jdbc:mysql://127.0.0.1:3306/db_user1"
]
}
]
}
},
"writer": {
"name": "mysqlwriter",
"parameter": {
"writeMode": "insert",
"username": "root",
"password": "20142266",
"column": [
"id",
"name",
"password",
"phone"
],
"session": [
"set session sql_mode='ANSI'"
],
"connection": [
{
"jdbcUrl": "jdbc:mysql://127.0.0.1:3306/db_user2?useUnicode=true&characterEncoding=gbk",
"table": [
"tb_user2"
]
}
]
}
}
}
]
}
}
最后一步就是启动DataX: python datax.py ./mysqlTomysql.json