Datax使用小结

最新推荐文章于 2024-07-10 15:23:57 发布
最新推荐文章于 2024-07-10 15:23:57 发布
阅读量1.7k 收藏 3
点赞数
分类专栏： 软件/工具 # ETL工具 文章标签： Datax ETL工具
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BAStriver/article/details/88888030
版权

1.首先，先来了解下Datax是做什么的吧：https://github.com/alibaba/DataX/blob/master/introduction.md

2.Datax下载链接(Windows也可以使用)：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

3.正如教程讲的，使用Datax之前要先安装JDK和PYTHON2.7.16环境。

  安装PY2.7教程：https://www.jb51.net/article/136324.htm

4.假设我们现在要同步Mysql-Mysql的数据，先建好两个库(test1和test2)和连个表(channel_logs和channel_log_test)

/* 建表语句
Navicat MySQL Data Transfer

Source Server         : 本地
Source Server Version : 50711
Source Host           : localhost:3306
Source Database       : test1

Target Server Type    : MYSQL
Target Server Version : 50711
File Encoding         : 65001

Date: 2019-03-29 12:01:47
*/

SET FOREIGN_KEY_CHECKS=0;

-- ----------------------------
-- Table structure for `channel_logs`
-- ----------------------------
DROP TABLE IF EXISTS `channel_logs`;
CREATE TABLE `channel_logs` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `name` varchar(255) DEFAULT NULL COMMENT '当前名称',
  `channel_id` int(11) DEFAULT NULL COMMENT 'id'
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=25 DEFAULT CHARSET=utf8;

-- ----------------------------
-- Records of channel_logs
-- ----------------------------
INSERT INTO `channel_logs` VALUES ('6', '记录1', '8');
INSERT INTO `channel_logs` VALUES ('7', '记录32', '8');
INSERT INTO `channel_logs` VALUES ('8', '记录3', '8');
INSERT INTO `channel_logs` VALUES ('9', '记录4', '8');
INSERT INTO `channel_logs` VALUES ('10', '记录5', '8');
INSERT INTO `channel_logs` VALUES ('11', '记录6', '8');
INSERT INTO `channel_logs` VALUES ('12', '记录6', '9');
INSERT INTO `channel_logs` VALUES ('13', '记录7', '10');
INSERT INTO `channel_logs` VALUES ('14', '记录8', '9');
INSERT INTO `channel_logs` VALUES ('15', '记录9', '10');
INSERT INTO `channel_logs` VALUES ('16', '记录98', '9');
INSERT INTO `channel_logs` VALUES ('17', '记录0', '10');
INSERT INTO `channel_logs` VALUES ('18', '记录67', '9');
INSERT INTO `channel_logs` VALUES ('19', '记录77', '10');
INSERT INTO `channel_logs` VALUES ('20', '记录88', '10');
INSERT INTO `channel_logs` VALUES ('21', '记录858', '10');
INSERT INTO `channel_logs` VALUES ('22', '记录96', '9');
INSERT INTO `channel_logs` VALUES ('23', '记录465', '10');
INSERT INTO `channel_logs` VALUES ('24', '记录65', '9');

  两个表结构一致，第一个表插入数据，第二个表作为空表。

5.好了，表建好之后，现在准备datax脚本，如下：

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "column": [              
                            "id",
                            "name"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://127.0.0.1:3306/test1"], 
                                "table": ["channel_logs"]
                            }
                        ],
                        "password": "123456",
                        "username": "canal"
                    }

                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "column": [
                            "id",
                            "name"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/test2",
                                "table": ["channel_log_test"]
                            }
                        ],
                        "password": "123456",
                        "username": "canal"
                    }

                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
           }
        }
    }
}

6.打开cmd.exe执行datax脚本，输入：

python E:\datax\bin\datax.py E:\datax\bin\test.json

如图：

7.如下的执行结果即成功：

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.


2019-03-29 10:39:50.043 [main] INFO  VMInfo - VMInfo# operatingSystem class => sun.management.OperatingSystemImpl
2019-03-29 10:39:50.051 [main] INFO  Engine - the machine info  =>

        osInfo: Oracle Corporation 1.8 25.0-b70
        jvmInfo:        Windows 8.1 amd64 6.3
        cpu num:        4

        totalPhysicalMemory:    -0.00G
        freePhysicalMemory:     -0.00G
        maxFileDescriptorCount: -1
        currentOpenFileDescriptorCount: -1

        GC Names        [PS MarkSweep, PS Scavenge]

        MEMORY_NAME                    | allocation_size                | init_size
        PS Eden Space                  | 256.00MB                       | 256.00MB
        Code Cache                     | 240.00MB                       | 2.44MB
        Compressed Class Space         | 1,024.00MB                     | 0.00MB
        PS Survivor Space              | 42.50MB                        | 42.50MB
        PS Old Gen                     | 683.00MB                       | 683.00MB
        Metaspace                      | -0.00MB                        | 0.00MB


2019-03-29 10:39:50.067 [main] INFO  Engine -
{
        "content":[
                {
                        "reader":{
                                "name":"mysqlreader",
                                "parameter":{
                                        "column":[
                                                "id",
                                                "name"
                                        ],
                                        "connection":[
                                                {
                                                        "jdbcUrl":[
                                                                "jdbc:mysql://127.0.0.1:3306/gzhgdb"
                                                        ],
                                                        "table":[
                                                                "channel_logs"
                                                        ]
                                                }
                                        ],
                                        "password":"******",
                                        "username":"canal"
                                }
                        },
                        "writer":{
                                "name":"mysqlwriter",
                                "parameter":{
                                        "column":[
                                                "id",
                                                "name"
                                        ],
                                        "connection":[
                                                {
                                                        "jdbcUrl":"jdbc:mysql://127.0.0.1:3306/test",
                                                        "table":[
                                                                "channel_log_test"
                                                        ]
                                                }
                                        ],
                                        "password":"******",
                                        "username":"canal"
                                }
                        }
                }
        ],
        "setting":{
                "speed":{
                        "channel":1
                }
        }
}

2019-03-29 10:39:50.114 [main] WARN  Engine - prioriy set to 0, because NumberFormatException, the value is: null
2019-03-29 10:39:50.130 [main] INFO  PerfTrace - PerfTrace traceId=job_-1, isEnable=false, priority=0
2019-03-29 10:39:50.130 [main] INFO  JobContainer - DataX jobContainer starts job.
2019-03-29 10:39:50.130 [main] INFO  JobContainer - Set jobId = 0
2019-03-29 10:39:50.671 [job-0] INFO  OriginalConfPretreatmentUtil - Available jdbcUrl:jdbc:mysql://127.0.0.1:3306/test1?yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true.
2019-03-29 10:39:50.686 [job-0] INFO  OriginalConfPretreatmentUtil - table:[channel_logs] has columns:[id,name,channel_id].
2019-03-29 10:39:51.061 [job-0] INFO  OriginalConfPretreatmentUtil - table:[channel_log_test] all columns:[
id,name,channel_id].
2019-03-29 10:39:51.077 [job-0] INFO  OriginalConfPretreatmentUtil - Write data [
INSERT INTO %s (id,name) VALUES(?,?)
], which jdbcUrl like:[jdbc:mysql://127.0.0.1:3306/test?yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true]
2019-03-29 10:39:51.077 [job-0] INFO  JobContainer - jobContainer starts to do prepare ...
2019-03-29 10:39:51.077 [job-0] INFO  JobContainer - DataX Reader.Job [mysqlreader] do prepare work .
2019-03-29 10:39:51.077 [job-0] INFO  JobContainer - DataX Writer.Job [mysqlwriter] do prepare work .
2019-03-29 10:39:51.077 [job-0] INFO  JobContainer - jobContainer starts to do split ...
2019-03-29 10:39:51.077 [job-0] INFO  JobContainer - Job set Channel-Number to 1 channels.
2019-03-29 10:39:51.077 [job-0] INFO  JobContainer - DataX Reader.Job [mysqlreader] splits to [1] tasks.
2019-03-29 10:39:51.092 [job-0] INFO  JobContainer - DataX Writer.Job [mysqlwriter] splits to [1] tasks.
2019-03-29 10:39:51.148 [job-0] INFO  JobContainer - jobContainer starts to do schedule ...
2019-03-29 10:39:51.164 [job-0] INFO  JobContainer - Scheduler starts [1] taskGroups.
2019-03-29 10:39:51.164 [job-0] INFO  JobContainer - Running by standalone Mode.
2019-03-29 10:39:51.179 [taskGroup-0] INFO  TaskGroupContainer - taskGroupId=[0] start [1] channels for [1] tasks.
2019-03-29 10:39:51.179 [taskGroup-0] INFO  Channel - Channel set byte_speed_limit to -1, No bps activated.
2019-03-29 10:39:51.179 [taskGroup-0] INFO  Channel - Channel set record_speed_limit to -1, No tps activated.
2019-03-29 10:39:51.211 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] attemptCount[1] is started
2019-03-29 10:39:51.211 [0-0-0-reader] INFO  CommonRdbmsReader$Task - Begin to read record by Sql: [select id,name from channel_logs
] jdbcUrl:[jdbc:mysql://127.0.0.1:3306/gzhgdb?yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true].
2019-03-29 10:39:51.257 [0-0-0-reader] INFO  CommonRdbmsReader$Task - Finished read record by Sql: [select id,name from channel_logs
] jdbcUrl:[jdbc:mysql://127.0.0.1:3306/test1?yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true].
2019-03-29 10:39:51.532 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] is successed, used[321]ms
2019-03-29 10:39:51.532 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] completed it's tasks.
2019-03-29 10:40:01.196 [job-0] INFO  StandAloneJobContainerCommunicator - Total 19 records, 148 bytes | Speed 14B/s, 1 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.000s | Percentage 100.00%
2019-03-29 10:40:01.196 [job-0] INFO  AbstractScheduler - Scheduler accomplished all tasks.
2019-03-29 10:40:01.200 [job-0] INFO  JobContainer - DataX Writer.Job [mysqlwriter] do post work.
2019-03-29 10:40:01.204 [job-0] INFO  JobContainer - DataX Reader.Job [mysqlreader] do post work.
2019-03-29 10:40:01.208 [job-0] INFO  JobContainer - DataX jobId [0] completed successfully.
2019-03-29 10:40:01.216 [job-0] INFO  HookInvoker - No hook invoked, because base dir not exists or is a file: E:\datax\hook
2019-03-29 10:40:01.220 [job-0] INFO  JobContainer -
         [total cpu info] =>
                averageCpu                     | maxDeltaCpu                    | minDeltaCpu
                -1.00%                         | -1.00%                         | -1.00%


         [total gc info] =>
                 NAME                 | totalGCCount       | maxDeltaGCCount    | minDeltaGCCount    | totalGCTime        | maxDeltaGCTime     | minDeltaGCTime
                 PS MarkSweep         | 0                  | 0                  | 0                  | 0.000s             | 0.000s             | 0.000s
                 PS Scavenge          | 0                  | 0                  | 0                  | 0.000s             | 0.000s             | 0.000s

2019-03-29 10:40:01.220 [job-0] INFO  JobContainer - PerfTrace not enable!
2019-03-29 10:40:01.224 [job-0] INFO  StandAloneJobContainerCommunicator - Total 19 records, 148 bytes | Speed 14B/s, 1 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.000s | Percentage 100.00%
2019-03-29 10:40:01.232 [job-0] INFO  JobContainer -
任务启动时刻                    : 2019-03-29 10:39:50
任务结束时刻                    : 2019-03-29 10:40:01
任务总计耗时                    :                 11s
任务平均流量                    :               14B/s
记录写入速度                    :              1rec/s
读出记录总数                    :                  19
读写失败总数                    :                   0

 

注：

1.datax脚本中不要有："#注释"；

2.cmd.exe执行datax脚本命令时乱码解决：输入CHCP 65001；

3.数据库中的数据中文乱码解决：在datax脚本文件中jdbcUrl项加上：?characterEncoding=utf8。

 

BAStriver
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
datax 导入数据中文乱码_DataX使用
weixin_35538624的博客
02-06 1559
预备DataX介绍DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。设计理念为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到D...
datax全流程脚本
代元培
03-11 1346
#!/bin/bash # ~/datax/bin/start_datax.sh . ~/.bashrc echo $# if [ $# -lt 1 ] then echo "need job config file" exit fi jobname="$1" taskname=`echo $(basename $jobname .xml)` echo "$jobname,t...
datax 导入数据中文乱码_DataX数据共享平台
weixin_35924003的博客
12-28 730
随着信息时代的不断发展，不同部门、不同地区间的信息交流逐步增加，计算机网络技术的发展为信息传输提供了保障。在网络上出现大量的空间数据，面对多种多样的数据格式，我们怎样才能有效地利用它们呢？如何解决数据共享与数据转换的问题呢？PDX DataX 数据共享平台,可让在不同地方使用不同计算机、不同软件的用户能够读取选定的数据并进行各种操作运算和分析。做到 “原始数据不离属地，业务模型用过即删，审批审核自...
DataX
最新发布
m0_68533987的博客
07-10 956
Scheduler调度模块会对Task进行分组，每个Task组称为一个Task Group，每个TaskGroup负责以一定的并发度运行其所分得的Task，单个Task Group的并发度为5。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。DataX的使用十分简单，用户只需根据自己同步数据的数据源和目的地选择相应的Reader和Writer，并将Reader和Writer的信息配置在一个json文件中，然后执行如下命令提交数据同步任务即可。
Java技术栈 —— 如何实现一个自己的DataX插件？
键盘国治理专家的博客
05-19 959
DataX 是阿里云 DataWorks数据集成 的开源版本（可以理解为DataWorks的阉割版），实现一个自己的DataX插件可以有助于各种异构数据源的导入导出，从业务角度与提升自己的技术视野两个方面来说，实现一款自己的DataX插件是很有必要的一件事。且json数据的文件，一个json体必须写成单独一行，不能有换行的存在，否则会读取文件末尾失败，认为这不是一个正规的json数据体，对于该项目来说，当存在多个json体时，你必须这样写才能把所有数据读入，jsonfilereader。
win10 安装DataX
热门推荐
周天祥的博客
09-17 12万+
win10 安装DataX 1.资源准备 2.环境变量配置(以自己安装目录为准) 3.在cmd窗口中输入CHCP 65001 防止中文乱码 4.测试（从stream读取数据并打印到控制台） 对人工智能感兴趣的同学，可以点击以下链接： 现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博硕生准备的，太难看懂了。最近发现了一个非常适合小白入门的教程，不仅通俗易懂而且还很风趣幽默。所...
DataX入门使用
05-30
### DataX入门使用详解 #### 一、DataX概述 DataX是一款由阿里巴巴开源的异构数据源离线同步工具，旨在实现不同类型的数据库及文件系统之间的高效数据同步。其支持的关系型数据库包括MySQL、Oracle等，同时也支持...
使用idea启动DataX的方法示例
08-25
总结，使用IntelliJ IDEA启动DataX涉及获取源码、配置开发环境、构建项目、配置运行配置以及执行数据同步任务。通过这种方式，开发者可以方便地进行DataX任务的开发、测试和调试。希望本教程对你的学习和工作有所...
datax python3用法和使用总结
04-20
datax python3用法和使用总结 自己用过超级好用，现在免费提供下载，希望给我点个赞，感谢你，希望你打代码不加班 详细 https://blog.csdn.net/m0_37969960/article/details/105643956
datax安装包+命令使用说明
09-29
总结来说，DataX是一款强大的数据迁移工具，其安装和使用主要包括下载安装包、配置环境变量、编写任务配置文件和执行命令。理解DataX的工作原理和配置语法，能帮助你更有效地进行大规模数据同步任务。在使用过程中，...
datax on azkaban——datax as a service
11-03
DataX是阿里巴巴集团内部广泛使用的离线数据同步工具，它可以实现在各种异构数据存储之间进行批量数据迁移。DataX支持包括MySQL、Oracle、HDFS、HBase、TableStore（OTS）、MaxCompute（ODPS）、ADS等在内的多种数据...
Linux下DataX的使用(二)
susu要快乐的博客
11-02 364
datax的使用
DataX数据同步工具使用
weixin_43114209的博客
04-27 3178
DataX 是阿里云 DataWorks 数据集成 的开源版本，主要就是用于实现数据间的离线同步。DataX 致力于实现包括关系型数据库（MySQL、Oracle 等）、HDFS、Hive、ODPS、HBase、FTP 等 各种异构数据源（即不同的数据库） 间稳定高效的数据同步功能。图片为了 解决异构数据源同步问题，DataX 将复杂的网状同步链路变成了星型数据链路 ，DataX 作为中间传输载体负责连接各种数据源；
DataX介绍
m0_61607827的博客
03-12 7万+
DataX 是阿里开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 DataX设计理念 DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和..
数据同步工具DataX的安装和使用说明
Bulut0907
11-23 962
下面运行示例同步程序，模拟产生10万条一样的数据，有5个字段。然后输出但不进行print。FrameWork部分设置了同步错误容忍率和每秒流量限制。如果想同步一个数据源的数据，到另外一个数据库，可以通过如下方式，查看数据的同步模板。提供了并发数量、字节流(每秒同步字节)、记录流(每秒同步数量)三种流控模式。其中channel表示该job总的并发数。
DataX 简介及架构原理
King_S_H的博客
05-24 1万+
DataX 简介及架构原理 概述 DataX是阿里巴巴使用 Java 和 Python 开发的一个异构数据源离线同步工具 异构数据源：不同存储结构的数据源 致力于实现包括关系型数据库 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS...
Content-Type
buffedon的博客
09-07 258
Content-TypeContent-Type 介绍application/x-www-form-urlencodedmultipart/form-dataapplication/jsonapplication/octet-streamtext/...image/ Content-Type 介绍 是HTTP 协议中的某个字段 注意 requestHead 和 requestBody中都有 Content-Type，其实表达的意思是一致的。用于定义网络文件的类型和网页的编码 Content-Type(Mi
datax安装使用及使用过程中遇到的问题
世樹のブログ
12-30 1万+
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 相关概念和设计理念不再赘述，这里记录个人初次使用时的过程。 datax环境要求: Linux JDK(1.8以上，推荐1.8) Python(推荐Python2.6.X) Apache Mave...
Datax3.0的安装和基本使用
Xlucas的博客
12-10 1万+
安装过程： 1、先解压datax的安装包[root@slave1 datax]# tar -xvf datax.tar.gz 2、个datax的安装路径授权[root@slave1 datax]# chmod -R 775 ./datax3、测试样例[root@slave1 bin]# python datax.py ../job/job.jsonDataX (DATAX-OPENSOURCE-3
datax使用自定义插件
08-29
使用自定义插件的datax的方法如下所示： 1. 首先，结合Airflow，您可以自己实现datax插件。可以通过读取connections获取数据源链接配置，然后生成datax的配置文件json，最后调用datax执行。 2. 您还可以按照datax的文档配置读取数据源和目标数据源，并执行调用命令来使用datax。datax可以作为一个命令行工具使用，非常简单。 3. 对于那些喜欢集成化的数据转换工具的人来说，datax是一个很好的选择。datax是阿里巴巴开源的一款异构数据源同步工具。虽然看起来不怎么更新了，但在简单使用方面还是非常可靠的。您可以在https://github.com/alibaba/DataX 找到datax的相关信息。 总结来说，使用自定义插件的datax的方法是结合Airflow自己实现插件，或者按照datax的文档配置数据源并执行调用命令，或者直接使用datax作为集成化的数据转换工具。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [Airflow自定义插件, 使用datax抽数](https://blog.csdn.net/seanxwq/article/details/109745723)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值