DataX操作指南

最新推荐文章于 2024-08-26 16:38:56 发布
最新推荐文章于 2024-08-26 16:38:56 发布
阅读量1.2k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30684181/article/details/90262177
版权

DataX操作指南

1.DataX介绍

DataX

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

Features

DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。

安装

Download DataX下载地址

解压后即可使用，运行脚本如下

python27 datax.py ..\job\test.json

2.DataX数据同步

2.1 从MySQL到MySQL

建表语句

DROP TABLE IF EXISTS `tb_dmp_requser`;
CREATE TABLE `tb_dmp_requser` (
  `reqid` varchar(50) NOT NULL COMMENT '活动编号',
  `exetype` varchar(50) DEFAULT NULL COMMENT '执行类型',
  `allnum` varchar(11) DEFAULT NULL COMMENT '全部目标用户数量',
  `exenum` varchar(11) DEFAULT NULL COMMENT '执行的目标用户数据',
  `resv` varchar(50) DEFAULT NULL,
  `createtime` datetime DEFAULT NULL
)

将dmp数据库的tb_dmp_requser表拷贝到dota2_databank的tb_dmp_requser表

job_mysql_to_mysql.json如下

{
    "job": {
        "content": [{
            "reader": {
                "name": "mysqlreader",
                "parameter": {
                    "column": [
                        "allnum", "reqid"
                    ],
                    "connection": [{
                        "jdbcUrl": ["jdbc:mysql://127.0.0.1:3306/dmp"],
                        "table": ["tb_dmp_requser"]
                    }],
                    "password": "123456",
                    "username": "root"
                }
            },
            "writer": {
                "name": "mysqlwriter",
                "parameter": {
                    "column": [
                        "allnum", "reqid"
                    ],
                            "preSql": [
                        "delete from tb_dmp_requser"
                    ],
                    "connection": [{
                        "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/dota2_databank",
                        "table": ["tb_dmp_requser"]
                    }],
                    "password": "123456",
                    "username": "root",
                    "writeMode": "replace"
                }
            }
        }],
        "setting": {
            "speed": {
                "channel": "2"
            }
        }
    }
}

 2.2 从Oracle到Oracle

将scott用户下的test表拷贝到test用户下的test表

建表语句

drop table TEST;

CREATE TABLE TEST (
ID NUMBER(32) NULL,
NAME VARCHAR2(255 BYTE) NULL
)
LOGGING
NOCOMPRESS
NOCACHE;

job_oracle_oracle.json

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "oraclereader",
                    "parameter": {
                        "column": ["id","name"],
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:oracle:thin:@localhost:1521:ORCL"],
                                "table": ["test"]
                            }
                        ],
                        "password": "tiger",
                        "username": "scott",
                        "where":"rownum < 1000"
                    }
                },
                "writer": {
                    "name": "oraclewriter",
                    "parameter": {
                        "column": ["id","name"],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:oracle:thin:@localhost:1521:ORCL",
                                "table": ["test"]
                            }
                        ],
                        "password": "test",
                        "username": "test"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 6
            }
        }
    }
}

2.3 从HBase到本地

将HBase的"LXW"表拷贝到本地路径../job/datax_hbase，Windows必须写相对路径，支持Linux路径写法

建表语句，添加两条数据

hbase(main):046:0> create 'LXW','CF'
0 row(s) in 1.2120 seconds

=> Hbase::Table - LXW
hbase(main):047:0> put 'LXW','row1','CF:NAME','lxw'
0 row(s) in 0.0120 seconds

hbase(main):048:0> put 'LXW','row1','CF:AGE','18'
0 row(s) in 0.0080 seconds

hbase(main):049:0> put 'LXW','row1','CF:ADDRESS','BeijingYiZhuang'
0 row(s) in 0.0070 seconds

hbase(main):050:0> put 'LXW','row2','CF:ADDRESS','BeijingYiZhuang2'
0 row(s) in 0.0060 seconds

hbase(main):051:0> put 'LXW','row2','CF:AGE','18'
0 row(s) in 0.0050 seconds

hbase(main):052:0> put 'LXW','row2','CF:NAME','lxw2'
0 row(s) in 0.0040 seconds

hbase(main):053:0> exit

job_hbase_to_local.json

hbase高可用集群配置参考https://www.cnblogs.com/Java-Starter/p/10756647.html

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "hbase11xreader", 
                    "parameter": {
                       "hbaseConfig": {
                            "hbase.zookeeper.quorum": "CentOS7Five:2181,CentOS7Six:2181,CentOS7Seven:2181"
                        },
                        "table": "LXW",
                        "encoding": "utf-8",
                        "mode": "normal",
                        "column": [
                        {
                          "name":"rowkey",
                          "type":"string"
                        },
                        {
                          "name":"CF:NAME",
                          "type":"string"
                        },
                        {
                          "name":"CF:AGE",
                          "type":"string"
                        },
                        {
                          "name":"CF:ADDRESS",
                          "type":"string"
                        }

                        ], 
                      
                        "range": {
                            "endRowkey": "", 
                            "isBinaryRowkey": false, 
                            "startRowkey": ""
                        }
                  
                    }
                }, 
                "writer": {
                    "name": "txtfilewriter", 
                    "parameter": {
                        "dateFormat": "yyyy-MM-dd", 
                        "fieldDelimiter": "\t", 
                        "fileName": "LXW", 
                        "path": "../job/datax_hbase", 
                        "writeMode": "truncate"
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": 5
            }
        }
    }
}

在../job/datax_hbase路径下生成文件LXW__e647d969_d2c6_47ad_9534_15c90d696099

文件内容如下

row1    lxw    18    BeijingYiZhuang
row2    lxw2    18    BeijingYiZhuang2

2.4 从本地到HBase

将本地文件导入到HBase的LXW表中

源数据source.txt

row3,jjj1,150,BeijingYiZhuang3
row4,jjj2,150,BeijingYiZhuang4

job_local_to_hbase.json

{
  "job": {
    "setting": {
      "speed": {
        "channel": 5
      }
    },
    "content": [
      {
        "reader": {
          "name": "txtfilereader",
          "parameter": {
            "path": "../job/datax_hbase/source.txt",
            "charset": "UTF-8",
            "column": [
              {
                "index": 0,
                "type": "String"
              },
              {
                "index": 1,
                "type": "string"
              },
              {
                "index": 2,
                "type": "string"
              },
              {
                "index": 3,
                "type": "string"
              }
            ],
            "fieldDelimiter": ","
          }
        },
        "writer": {
          "name": "hbase11xwriter",
          "parameter": {
            "hbaseConfig": {
              "hbase.zookeeper.quorum": "CentOS7Five:2181,CentOS7Six:2181,CentOS7Seven:2181"
            },
            "table": "LXW",
            "mode": "normal",
            "rowkeyColumn": [
                {
                  "index":0,
                  "type":"string"
                }
            ],
            "column": [
              {
                    "index":1,
                  "name":"CF:NAME",
                  "type":"string"
                },
                {
                    "index":2,
                  "name":"CF:AGE",
                  "type":"string"
                },
                {
                    "index":3,
                  "name":"CF:ADDRESS",
                  "type":"string"
                }
            ],
            "versionColumn":{
              "index": -1,
              "value":"123456789"
            },
            "encoding": "utf-8"
          }
        }
      }
    ]
  }
}

导入过后可以看到，新增的数据

hbase(main):241:0* get 'LXW','row3'
COLUMN                    CELL                                                                  
 CF:ADDRESS               timestamp=123456789, value=BeijingYiZhuang3                           
 CF:AGE                   timestamp=123456789, value=150                                        
 CF:NAME                  timestamp=123456789, value=jjj1

 2.5 从本地到HDFS/Hive

HDFS导入到本地不支持高可用，所以这里不做实验

Hive高可用配置参考https://www.cnblogs.com/Java-Starter/p/10756528.html

将本地数据文件导入到HDFS/Hive，在Hive上建表才可以导入

因为路径的问题，只能在Linux端操作

源数据source.txt

3,1,150,33
4,2,150,44

建表语句

 create table datax_test(
  col1 varchar(10),
 col2 varchar(10),
   col3 varchar(10),
  col4 varchar(10)
 )
    ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
   STORED AS ORC;

fileType要orc，text类型必须要压缩，有可能乱码

job_local_to_hdfs.json

{
    "setting": {},
    "job": {
        "setting": {
            "speed": {
                "channel": 1
            }
        },
        "content": [
            {
                "reader": {
                    "name": "txtfilereader",
                    "parameter": {
                        "path": ["../job/datax_hbase/source.txt"],
                        "encoding": "UTF-8",
                        "column": [
                            {
                                "index": 0,
                                "type": "String"
                            },
                            {
                                "index": 1,
                                "type": "String"
                            },
                            {
                                "index": 2,
                                "type": "String"
                            },
                            {
                                "index": 3,
                                "type": "String"
                            }
                        ],
                        "fieldDelimiter": ","
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                "defaultFS": "hdfs://ns1/",
                         "hadoopConfig":{
                                 "dfs.nameservices": "ns1",
                                 "dfs.ha.namenodes.ns1": "nn1,nn2",
                                 "dfs.namenode.rpc-address.ns1.nn1": "CentOS7One:9000",
                                 "dfs.namenode.rpc-address.ns1.nn2": "CentOS7Two:9000",
                                 "dfs.client.failover.proxy.provider.ns1": "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"
                         },
                        "fileType": "orc",
                        "path": "/user/hive/warehouse/datax_test",
                        "fileName": "datax_test",
                        "column": [
                            {
                                "name": "col1",
                                "type": "VARCHAR"
                            },
                            {
                                "name": "col2",
                                "type": "VARCHAR"
                            },
                            {
                                "name": "col3",
                                "type": "VARCHAR"
                            },
                            {
                                "name": "col4",
                                "type": "VARCHAR"
                            }
                        ],
                        "writeMode": "append",
                        "fieldDelimiter": ",",
                        "compress":"NONE"
                    }
                }
            }
        ]
    }
}

 导入完毕，查看hive

Time taken: 0.105 seconds
hive> 
    > 
    > 
    > select *from datax_test;
OK
3       1       150     33
4       2       150     44
Time taken: 0.085 seconds, Fetched: 2 row(s)

 

posted @ 2019-05-15 17:33 Rest探路者 阅读( ...) 评论( ...) 编辑 收藏
DataX使用指南
陪你听风的博客
05-08 11万+
简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX采用了框架 + 插件 的模式，目前已开源，代码托管在github。 DataX安装部署及小试 1.下载压缩包： 下载页面地址：https://github.com/a...
dataX使用指南
一个不靠谱的程序员
01-14 4806
DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 DataXgit地址 安装 直接下载DataX工具包：DataX下载地址 下载后解压至本地某个...
【大数据】DataX介绍
热门推荐
Elsa
09-14 3万+
DataX入门 1.DataX 1.1介绍 DataX 是阿里巴巴集团内被广泛使用的异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、MaxCompute(原ODPS)、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽...
DataX（Doris同步数据到SelectDB）
最新发布
菜鸡的博客
08-26 1748
配置说明单个channel容纳最多的字节数单个channel容纳最多的record数该job所需要的channel的个数该job最大的流量该job最大的record流量。
datax入门（datax的安装与简单使用）——01
@素素~的博客
06-27 1741
datax入门（datax的安装与简单使用）——01
dataX3.0安装使用手册
10-20
dataX3.0安装使用手册
DataX使用说明
weixin_44318460的博客
10-24 1961
如何使用DataX
dataX3.0安装使用手册.docx
10-19
DataX 3.0 安装使用手册是 DataX 3.0 的官方安装和使用指南，旨在帮助用户快速地安装和使用 DataX 3.0。 一、 DataX 概述 DataX 是一个数据处理和迁移的工具，能够帮助用户快速地将数据从一个系统迁移到另一个系统...
doriswriter-datax
05-31
《DataX DorisWriter详解与实战指南》 DataX是一款由阿里巴巴开源的数据同步工具，它支持多种数据源之间的数据迁移，旨在实现离线数据同步。在这个主题中，我们将重点探讨DataX中的DorisWriter组件，以及如何通过...
DataX使用详细教程
yqj234的专栏
06-09 553
1. 在JOB条件中可以写入执行的条件。
DataX及使用
weixin_44823875的博客
03-07 5335
DataX是阿里巴巴开源的一个异构数据源离线同步工具，用于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。任务提交命令：用户需要根据同步数据的数据源和目的地选择相应的Reader和Writer，并将Reader和Writer的信息配置在一个json文件中，然后执行命令提交数据同步任务即可。
DATAX说明书最新-20180825
08-26
完全自己手工从github上复制过来的，又对文档进行格式修改。
datax最新所有输入输出API说明
12-29
本文档是包含截止到上传日期为止，最新最全的有关异构数据库迁移工具DataX的所有配置API说明文档。有需要的可以下载使用。文档可以直接打开看，如果不习惯使用MD文件的，也可以使用markdown转换为HTML也可以。都是技术出身，你懂的。
datax详细介绍及使用
Maynor的博客
03-10 6146
文章目录一、dataX概览1.1 DataX1.2 Features1.3 System Requirements1.4 Quick Start二、dataX详解2.1 DataX 3.0概览2.2 DataX3.0框架设计2.3 DataX3.0插件体系2.4 DataX3.0核心架构2.4.1 核心模块介绍：2.4.2 DataX调度流程：2.5 DataX 3.0六大核心优势三、dataX案例3.1 案例1(stream--->stream)3.2 案例2(mysql--->hdfs)3.
datax parquet hdfswriter
qq_34748569的博客
04-21 2706
datax parquet hdfswriter 背景 为什么我要开发这个工具呢？我之前安装的cdh集群版本是5.14，里面的impala支持parquet,不支持orc，但是偏偏呀，datax不支持直接写到hdfs的parquet。虽说datax和impala同时还支持txt格式，但是查询速度比较慢，问了很多，见别人有开发datax parquet reader的，就是没有writer，于是就...
Datax的使用说明及入门操作案例演示
最爱嫣夜来
05-13 2923
DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。首先需要有两个数据源，一个是原始数据源， 一个是目标数据源， 我智力为了演示方便， 使用的都是MySQL数据库，演示的案列就是。datax的使用是不是还挺简单的呢~，多动手，掌握的就会越来越多。
DataX 教程(一)
weixin_37605393的博客
08-09 369
Doris初步使用，命令行启用Doris任务
DataX使用方法（基础一）
天涯的博客
01-24 6581
操作系统环境：redhat6.5企业版 python版本：2.6.6 jdk版本：1.7 DataX下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 将程序下载之后上传至服务器，并解压 tar -zxvf datax.tar.gz 解压之后的目录结构如下 执行命令 python datax.py ....
Datax-web操作指南
baidu_28351593的博客
05-31 4120
如果配置集群，执行器的个数要小于内存总大小/1G.比如服务器内存8G，执行器个数要小于8个，最好是6个以下。ID自增存在缺陷，历史ID对应的数据如果被修改过，在增量抽取时，永远不会更新。这里填了主键后，任务执行时，会根据数据量自动对数据分片，启动多个线程并发执行。批量构建适合同构表的批量同步，比如：1天一张订单表，现在要同步一年的365张订单表，这些表的结构完全一致，此时就可以选择批量构建。，通过Datax-web可视化的四个步骤，简化了构建任务的过程，大大减少了工作量。任务构建，是数据同步最核心的模块。
datax 用户手册
08-24
总之，DataX用户手册是一份详细而全面的使用指南，帮助用户了解和掌握DataX工具的各个方面。无论是初学者还是有经验的用户，都可以通过手册迅速上手和使用DataX工具，使数据迁移和同步变得更加简单和高效。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值