Datax 数据抽取同步

最新推荐文章于 2024-09-05 23:08:02 发布
最新推荐文章于 2024-09-05 23:08:02 发布
阅读量6.8k 收藏 2
点赞数
分类专栏： # Greenplum # PostgreSQL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dazuiba008/article/details/78709458
版权
介绍一款开源的ETL工具
https://github.com/alibaba/DataX
下载软件包：
wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
解压并赋予权限：
tar -zxvf datax.tar.gz
chmod 755 datax

同步实例：
创建表hank，并同步到表hank_bak
硬件限制，只在一个数据库实例测试功能
hank=> \d hank
      Table "hank.hank"
 Column |  Type   | Modifiers 
--------+---------+-----------
 a      | integer | 

hank=> \d hank_bak 
    Table "hank.hank_bak"
 Column |  Type   | Modifiers 
--------+---------+-----------
 a      | integer | 

 hank=> select * from hank;
 a  
----
 10
 10
(2 rows)

hank=> truncate hank_bak ;
TRUNCATE TABLE


进入datax目录，配置同步模板pg2pg.json
#cd /home/postgres/datax/
#ls
bin  conf  job  lib  log  log_perf  pg2pg.json  plugin  script  tmp
# cat pg2pg.json 
{
    "job": {
        "setting": {
            "speed": {
                "channel": 1
            }
        },
        "content": [
            {
                "reader": {
                    "name": "postgresqlreader", 
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:postgresql://192.168.101.115:1921/hank"], 
                                "table": ["hank"]
                            }
                        ], 
                        "column":["a"],
                        "password": "hank", 
                        "username": "hank"
                    }
                }, 
                 "writer": {
                    "name": "postgresqlwriter",
                    "parameter": {
                        "username": "hank",
                        "password": "hank",
                        "column": [
                            "a"
                        ],
                        "preSql": [
                            "delete from hank_bak"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:postgresql://192.168.101.115:1921/hank",
                                "table": [
                                    "hank_bak"
                                ]
                            }
                        ]
                    }
                }
            
            }
        ]
    }
}

进行同步
#python ./bin/datax.py pg2pg.json

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.


2017-12-04 14:22:14.376 [main] INFO  VMInfo - VMInfo# operatingSystem class => sun.management.OperatingSystemImpl
2017-12-04 14:22:14.387 [main] INFO  Engine - the machine info  => 

        osInfo: Oracle Corporation 1.8 25.151-b12
        jvmInfo:        Linux amd64 2.6.32-642.3.1.el6.x86_64
        cpu num:        8

        totalPhysicalMemory:    -0.00G
        freePhysicalMemory:     -0.00G
        maxFileDescriptorCount: -1
        currentOpenFileDescriptorCount: -1

        GC Names        [PS MarkSweep, PS Scavenge]

        MEMORY_NAME                    | allocation_size                | init_size                      
        PS Eden Space                  | 256.00MB                       | 256.00MB                       
        Code Cache                     | 240.00MB                       | 2.44MB                         
        Compressed Class Space         | 1,024.00MB                     | 0.00MB                         
        PS Survivor Space              | 42.50MB                        | 42.50MB                        
        PS Old Gen                     | 683.00MB                       | 683.00MB                       
        Metaspace                      | -0.00MB                        | 0.00MB                         


2017-12-04 14:22:14.417 [main] INFO  Engine - 
{
        "content":[
                {
                        "reader":{
                                "name":"postgresqlreader",
                                "parameter":{
                                        "column":[
                                                "a"
                                        ],
                                        "connection":[
                                                {
                                                        "jdbcUrl":[
                                                                "jdbc:postgresql://192.168.101.115:1921/hank"
                                                        ],
                                                        "table":[
                                                                "hank"
                                                        ]
                                                }
                                        ],
                                        "password":"****",
                                        "username":"hank"
                                }
                        },
                        "writer":{
                                "name":"postgresqlwriter",
                                "parameter":{
                                        "column":[
                                                "a"
                                        ],
                                        "connection":[
                                                {
                                                        "jdbcUrl":"jdbc:postgresql://192.168.101.115:1921/hank",
                                                        "table":[
                                                                "hank_bak"
                                                        ]
                                                }
                                        ],
                                        "password":"****",
                                        "preSql":[
                                                "delete from hank_bak"
                                        ],
                                        "username":"hank"
                                }
                        }
                }
        ],
        "setting":{
                "speed":{
                        "channel":1
                }
        }
}

2017-12-04 14:22:14.445 [main] WARN  Engine - prioriy set to 0, because NumberFormatException, the value is: null
2017-12-04 14:22:14.447 [main] INFO  PerfTrace - PerfTrace traceId=job_-1, isEnable=false, priority=0
2017-12-04 14:22:14.448 [main] INFO  JobContainer - DataX jobContainer starts job.
2017-12-04 14:22:14.451 [main] INFO  JobContainer - Set jobId = 0
2017-12-04 14:22:14.673 [job-0] INFO  OriginalConfPretreatmentUtil - Available jdbcUrl:jdbc:postgresql://192.168.101.115:1921/hank.
2017-12-04 14:22:14.702 [job-0] INFO  OriginalConfPretreatmentUtil - table:[hank] has columns:[a].
2017-12-04 14:22:14.750 [job-0] INFO  OriginalConfPretreatmentUtil - table:[hank_bak] all columns:[
a
].
2017-12-04 14:22:14.768 [job-0] INFO  OriginalConfPretreatmentUtil - Write data [
INSERT INTO %s (a) VALUES(?)
], which jdbcUrl like:[jdbc:postgresql://192.168.101.115:1921/hank]
2017-12-04 14:22:14.769 [job-0] INFO  JobContainer - jobContainer starts to do prepare ...
2017-12-04 14:22:14.770 [job-0] INFO  JobContainer - DataX Reader.Job [postgresqlreader] do prepare work .
2017-12-04 14:22:14.771 [job-0] INFO  JobContainer - DataX Writer.Job [postgresqlwriter] do prepare work .
2017-12-04 14:22:14.778 [job-0] INFO  CommonRdbmsWriter$Job - Begin to execute preSqls:[delete from hank_bak]. context info:jdbc:postgresql://192.168.101.115:1921/hank.
2017-12-04 14:22:14.780 [job-0] INFO  JobContainer - jobContainer starts to do split ...
2017-12-04 14:22:14.780 [job-0] INFO  JobContainer - Job set Channel-Number to 1 channels.
2017-12-04 14:22:14.787 [job-0] INFO  JobContainer - DataX Reader.Job [postgresqlreader] splits to [1] tasks.
2017-12-04 14:22:14.788 [job-0] INFO  JobContainer - DataX Writer.Job [postgresqlwriter] splits to [1] tasks.
2017-12-04 14:22:14.820 [job-0] INFO  JobContainer - jobContainer starts to do schedule ...
2017-12-04 14:22:14.828 [job-0] INFO  JobContainer - Scheduler starts [1] taskGroups.
2017-12-04 14:22:14.832 [job-0] INFO  JobContainer - Running by standalone Mode.
2017-12-04 14:22:14.846 [taskGroup-0] INFO  TaskGroupContainer - taskGroupId=[0] start [1] channels for [1] tasks.
2017-12-04 14:22:14.853 [taskGroup-0] INFO  Channel - Channel set byte_speed_limit to -1, No bps activated.
2017-12-04 14:22:14.853 [taskGroup-0] INFO  Channel - Channel set record_speed_limit to -1, No tps activated.
2017-12-04 14:22:14.870 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] attemptCount[1] is started
2017-12-04 14:22:14.875 [0-0-0-reader] INFO  CommonRdbmsReader$Task - Begin to read record by Sql: [select a from hank 
] jdbcUrl:[jdbc:postgresql://192.168.101.115:1921/hank].
2017-12-04 14:22:14.891 [0-0-0-reader] INFO  CommonRdbmsReader$Task - Finished read record by Sql: [select a from hank 
] jdbcUrl:[jdbc:postgresql://192.168.101.115:1921/hank].
2017-12-04 14:22:14.972 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] is successed, used[104]ms
2017-12-04 14:22:14.973 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] completed it's tasks.
2017-12-04 14:22:24.865 [job-0] INFO  StandAloneJobContainerCommunicator - Total 2 records, 4 bytes | Speed 0B/s, 0 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.000s | Percentage 100.00%
2017-12-04 14:22:24.866 [job-0] INFO  AbstractScheduler - Scheduler accomplished all tasks.
2017-12-04 14:22:24.867 [job-0] INFO  JobContainer - DataX Writer.Job [postgresqlwriter] do post work.
2017-12-04 14:22:24.868 [job-0] INFO  JobContainer - DataX Reader.Job [postgresqlreader] do post work.
2017-12-04 14:22:24.868 [job-0] INFO  JobContainer - DataX jobId [0] completed successfully.
2017-12-04 14:22:24.869 [job-0] INFO  HookInvoker - No hook invoked, because base dir not exists or is a file: /home/postgres/datax/hook
2017-12-04 14:22:24.871 [job-0] INFO  JobContainer - 
         [total cpu info] => 
                averageCpu                     | maxDeltaCpu                    | minDeltaCpu                    
                -1.00%                         | -1.00%                         | -1.00%
                        

         [total gc info] => 
                 NAME                 | totalGCCount       | maxDeltaGCCount    | minDeltaGCCount    | totalGCTime        | maxDeltaGCTime     | minDeltaGCTime     
                 PS MarkSweep         | 0                  | 0                  | 0                  | 0.000s             | 0.000s             | 0.000s             
                 PS Scavenge          | 0                  | 0                  | 0                  | 0.000s             | 0.000s             | 0.000s             

2017-12-04 14:22:24.872 [job-0] INFO  JobContainer - PerfTrace not enable!
2017-12-04 14:22:24.872 [job-0] INFO  StandAloneJobContainerCommunicator - Total 2 records, 4 bytes | Speed 0B/s, 0 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.000s | Percentage 100.00%
2017-12-04 14:22:24.874 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2017-12-04 14:22:14
任务结束时刻                    : 2017-12-04 14:22:24
任务总计耗时                    :                 10s
任务平均流量                    :                0B/s
记录写入速度                    :              0rec/s
读出记录总数                    :                   2
读写失败总数                    :                   0



hank=> select * from hank_bak ;
 a  
----
 10
 10
(2 rows)

同步完成。
魂醉
关注
专栏目录
解决 datax 批量同步表功能(灵活控制表的个数)实现
lg4546的专栏
04-11 4678
datax 实现批量同步库,批量同步多表任务
datax 持续数据同步_采用DataX实现多表增量数据同步
weixin_39614637的博客
12-21 6458
这两天验证了一下阿里的DataX数据同步工具，觉得DataX可以用来做管理数据的多级数据同步。DataX用来做批量数据迁移很适合，能够保证数据的一致性，性能也很好，结合时间戳字段，用来实现数据定时增量同步也是可以的，如每分钟或每5分钟增量同步一次数据。用DataX这个方案做增量同步要求每个表带一个时间戳字段，删除数据采用逻辑删除，这个要求也比较容易做到。增量同步实现实现增量同步需要在表中增加一个时...
datax-web-2.1.2，大数据、etl工具、数据抽取
12-28
datax-web-2.1.2，大数据、etl工具、数据抽取
数据抽取平台pydatax介绍--实现和项目使用
zping的博客
02-28 1042
因项目2中：数据仓库使用的GreePlum，datax的驱动用的是gpdbwriter-v1.0.4-hashdata.jar，该驱动自动删除"0x"非法字符，就不存在该错误。项目2： 客户有9个分公司，用的ERP有9套，有9个库，不同版本，抽取的同一个表字段长度有不一样，字段可能有多有少，客户ERP核心分公司ERP几个月后有大版本升级。# 获取分公司库该表的字段，如对比核心库表字段的缺失，使用null as 字段替换，如果多余则废弃，取9个库的最大值，作为目标表字段的字段长度。
【大数据】DataX深度解析：数据同步的神器是如何工作的？
最新发布
一个不断前行的程序者
09-05 954
DataX作为一款开源的数据同步工具，其价值在于帮助用户高效、稳定地完成数据迁移和同步任务，降低了数据处理的复杂性和成本。展望未来，我们期待DataX能够持续创新，为用户提供更加丰富和强大的功能，成为数据同步领域的标杆工具。同时，也希望DataX社区能够更加繁荣，吸引更多开发者和企业参与到项目的贡献中来。
Datax 与 Azkaban 实现数据抽取与调度
UnionIBM的博客
07-26 8418
1.什么是DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX采用了框架 + 插件 的模式，目前已开源，代码托管在github DataX的安装省略 配置详情可见 https://github.com/alibab...
DataX | 使用脚本实现多表定时同步
qq_37559701的博客
05-16 801
1、创建syncData.sh脚本。每天5点执行，并输出到日志文件中。然后执行sh文件即可。
改写datax实现业务层mysql 全量,增量,多表合并同步kudu
Cocktail_py的博客
11-12 7762
一.中间表 CREATE TABLE `xx_datax_status` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增id', `dbname` varchar(64) NOT NULL COMMENT '数据库名', `tbname` varchar(64) NOT NULL COMMENT '表名', `xx_xx_data_create_time` datetime DEFAULT NULL COMMENT '业务层表中数据创建
Datax使用小结
BAStriver的博客
03-29 1836
1.首先，先来了解下Datax是做什么的吧：https://github.com/alibaba/DataX/blob/master/introduction.md 2.Datax下载链接(Windows也可以使用)：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 3.正如教程讲的，使用Datax之前要先安装J...
java使用datax增量同步代码
04-19
Java 使用 DataX 进行增量同步是大数据领域中常见的数据迁移任务，DataX 是阿里开源的一个强大、高效的数据同步工具，它可以实现不同数据存储之间的数据迁移。本篇将详细讲解如何在 Java 项目中利用 DataX 实现增量...
datax数据从hive导入mysql数据缺失解决
01-18
为了实现两者之间的数据交换，DataX 作为一种开源的数据同步工具被广泛应用。 #### 问题描述 在使用 DataX 将数据从 Hive 表导入 MySQL 表的过程中，遇到了数据缺失的问题。具体表现为，在某些特定条件下（如数据块...
datax抽取数据到hdfs的null值变成''(引号)的问题
02-20
mysql的null值通过datax抽取到hdfs，会变成引号，这不是我们所需要的，所以需要修改一下datax的源码
DataX Web分布式数据同步工具-其他
06-12
DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面，降低用户使用DataX的学习成本，缩短任务配置时间，避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务，RDBMS数据源可...
批量数据之DataX数据同步
上善若泪
01-26 1514
DataX是阿里云DataWorks数据集成 的开源版本，主要就是用于实现数据间的离线同步。DataX致力于实现包括关系型数据库（MySQL、Oracle 等）、HDFS、Hive、ODPS、HBase、FTP 等 各种异构数据源（即不同的数据库） 间稳定高效的数据同步功能。为了解决异构数据源同步问题，DataX将复杂的网状同步链路变成了星型数据链路 ，DataX作为中间传输载体负责连接各种数据源；当需要接入一个新的数据源时，只需要将此数据源对接到DataX，便能跟已有的数据源作为无缝数据同步。
datax安装使用及使用过程中遇到的问题
热门推荐
世樹のブログ
12-30 1万+
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 相关概念和设计理念不再赘述，这里记录个人初次使用时的过程。 datax环境要求: Linux JDK(1.8以上，推荐1.8) Python(推荐Python2.6.X) Apache Mave...
Datax使用踩坑经历
weixin_43876924的博客
03-22 2703
【代码】Datax使用踩坑经历。
datax parquet hdfswriter
qq_34748569的博客
04-21 2695
datax parquet hdfswriter 背景 为什么我要开发这个工具呢？我之前安装的cdh集群版本是5.14，里面的impala支持parquet,不支持orc，但是偏偏呀，datax不支持直接写到hdfs的parquet。虽说datax和impala同时还支持txt格式，但是查询速度比较慢，问了很多，见别人有开发datax parquet reader的，就是没有writer，于是就...
使用Datax可视化工具datax-web创建任务
阿超学习笔记的博客
02-14 1108
使用DataX可视乎工具datax-web创建同步任务
Datax 的基本操作
wudonglianga的专栏
10-30 1729
1. Datax 简介： DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、 Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 开源地址： https://github.com/alibaba/DataX 1.1 测试datax 执行环境： 执行命令 [root@bigdata001 bin]# python datax.py /opt/module/datax/job/job.json Time 0.024s
如何使用datax抽取当日数据
03-30
DataX是一个开源的数据同步工具，可以用于实现数据抽取、转换和加载（ETL）任务。下面是使用DataX抽取当日数据的一般步骤： 1. 安装DataX：首先需要在你的机器上安装DataX，可以从DataX的官方GitHub仓库下载最新...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值