DataX实现Mysql、Oracle、HDFS、Postgres的数据同步

最新推荐文章于 2024-02-17 21:40:26 发布
最新推荐文章于 2024-02-17 21:40:26 发布
阅读量1.4k 收藏 1
点赞数
文章标签： hadoop 大数据 分布式
原文链接：https://www.codenong.com/cs109764709/
版权


acldfshdfhdfsmysqloraclesqltax同步

DataX实现Mysql与Oracle、HDFS、Postgres的数据同步

第1章 Demo设计

架构图：


准备了4个示例，原理与模式基本都是一样的：

  • Mysql — data —> HDFS
  • HDFS — data —> Mysql
  • Oracle — data —> Mysql
  • Postgresql — data —> Hive

第2章 快速部署

2.1 官方地址

下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
源码地址：https://github.com/alibaba/DataX

2.2 前置要求

  • Linux ( Centos7.6 )
  • JDK(1.8以上，推荐1.8)
  • Python(推荐Python2.6.X)

2.3 安装

1）将下载好的datax.tar.gz上传到服务器的/opt/software

1
2

[root@node1 software]# ll
total 789564  -rw-r--r-- 1 root root 808511380 Jul 28 16:49  datax.tar.gz

2）解压datax.tar.gz到/opt/module

1

[root@node1 software]$ tar -zxvf datax.tar.gz -C /opt/module/

3）运行自检脚本

1
2

[root@node1 bin]$ cd /opt/module/datax/bin/
[root@node1 bin]$ python datax.py /opt/module/datax/job/job.json

第3章 DEMO案例

3.1 DataX示例一：读Mysql数据到HDFS

3.1.1 查看官方模板

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43

[root@node1 ~]$ python /opt/module/datax/bin/datax.py -r mysqlreader -w hdfswriter

{<!-- -->
    "job": {<!-- -->
        "content": [
            {<!-- -->
                "reader": {<!-- -->
                    "name": "mysqlreader",
                    "parameter": {<!-- -->
                        "column": [],
                        "connection": [
                            {<!-- -->
                                "jdbcUrl": [],
                                "table": []
                            }
                        ],
                        "password": "",
                        "username": "",
                        "where": ""
                    }
                },
                "writer": {<!-- -->
                    "name": "hdfswriter",
                    "parameter": {<!-- -->
                        "column": [],
                        "compress": "",
                        "defaultFS": "",
                        "fieldDelimiter": "",
                        "fileName": "",
                        "fileType": "",
                        "path": "",
                        "writeMode": ""
                    }
                }
            }
        ],
        "setting": {<!-- -->
            "speed": {<!-- -->
                "channel": ""
            }
        }
    }
}

如果你的数据库没有设置密码，那么就需要修改源码，下载dataX源码，做如下修改，并打成jar包datax-common-0.0.1-SNAPSHOT.jar ：

将打好的jar包替换datax/lib/datax-common-0.0.1-SNAPSHOT.jar

3.1.2 准备数据

1）在Mysql中创建alert_current表，导入测试数据

3.1.3 编写配置文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86

[root@node1 job]# vi Mysql2Hdfs.json
{<!-- -->
    "job": {<!-- -->
        "content": [
            {<!-- -->
                "reader": {<!-- -->
                    "name": "mysqlreader",
                    "parameter": {<!-- -->
                        "column": [
                            "alert_id",
                            "definition_id",
                            "history_id",
                            "maintenance_state",
                            "original_timestamp",
                            "latest_timestamp",
                            "occurrences",
                            "firmness"
                        ],
                        "connection": [
                            {<!-- -->
                                "jdbcUrl": [
                                    "jdbc:mysql://192.168.20.45:3306/sqooptest"
                                ],
                                "table": [
                                    "alert_current"
                                ]
                            }
                        ],
                        "username": "root",
            "password":""
                    }
                },
                "writer": {<!-- -->
                    "name": "hdfswriter",
                    "parameter": {<!-- -->  
                        "defaultFS": "hdfs://192.168.20.1:8020",
                        "fieldDelimiter": "\t",
                        "fileName": "alert_current.txt",
                        "fileType": "text",
                        "path": "/user/datax",
                        "writeMode": "append",
            "column": [
                            {<!-- -->
                                "name": "alert_id",
                                "type": "bigint"
                            },
                             {<!-- -->
                                "name": "definition_id",
                                "type": "bigint"
                            },
                             {<!-- -->
                                "name": "history_id",
                                "type": "bigint"
                            },
                             {<!-- -->
                                "name": "maintenance_state",
                                "type": "string"
                            },
                             {<!-- -->
                                "name": "original_timestamp",
                                "type": "bigint"
                            },
                             {<!-- -->
                                "name": "latest_timestamp",
                                "type": "bigint"
                            },
                             {<!-- -->
                                "name": "occurrences",
                                "type": "bigint"
                             },
                             {<!-- -->
                                "name": "firmness",
                                "type": "string"
                            }  
            ]
                    }
                }
            }
        ],
        "setting": {<!-- -->
            "speed": {<!-- -->
                "channel": "1"
            }
        }
    }
}

3.1.4 执行任务

[root@node1 datax]# bin/datax.py ./job/Mysql2Hdfs.json


:

3.1.5 查看HDFS

注：HdfsWriter实际执行时会在该文件名后添加随机的后缀作为每个线程写入实际文件名。

3.2 DataX示例二：读HDFS中数据到Mysql

基于3.2案例结果HDFS中的数据，导出到Mysql的alert_current_copy表中

3.2.1 编写配置文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51

[root@node1 job]# vi Hdfs2Mysql.json
{<!-- -->
    "job": {<!-- -->
        "content": [
            {<!-- -->
                "reader": {<!-- -->
                    "name": "hdfsreader",
                    "parameter": {<!-- -->
                        "column": ["*"],
                        "defaultFS": "hdfs://192.168.20.1:8020",
                        "encoding": "UTF-8",
                        "fieldDelimiter": "\t",
                        "fileType": "text",
                        "path": "/user/datax/*"
                    }
                },
                "writer": {<!-- -->
                    "name": "mysqlwriter",
                    "parameter": {<!-- -->
                        "column": [
                            "alert_id",
                            "definition_id",
                            "history_id",
                            "maintenance_state",
                            "original_timestamp",
                            "latest_timestamp",
                            "occurrences",
                            "firmness"
                        ],
                        "connection": [
                            {<!-- -->
                                "jdbcUrl":"jdbc:mysql://192.168.20.1:3306/sqooptest",
                                "table": [
                                    "alert_current_copy"
                                ]
                            }
                        ],
                        "password": "******",
                        "username": "root",
                        "writeMode": "update"
                    }
                }
            }
        ],
        "setting": {<!-- -->
            "speed": {<!-- -->
                "channel": "1"
            }
        }
    }
}

3.2.1 查看运行结果
运行结果

查看Mysql数据库的alert_current_copy表

3.3 DataX示例三： Oracle同步数据到Mysql

3.3.1准备工作

1）192.168.20.2 节点Oracle中选择稍微大一点的LineItem表（719M），查看数据量 select count(*) from lineitem;

2）192.168.20.1 节点Mysql中datax_test库中创建表LINEITEM

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

create table LINEITEM (
   l_orderkey integer not null,
   l_partkey integer not null,
   l_suppkey integer not null,
   l_linenumber integer not null,
   l_quantity decimal not null,
   l_extendedprice decimal(15,2) not null,
   l_discount decimal(15,2) not null,
   l_tax decimal(15,2) not null,
   l_returnflag varchar(1) not null,
   l_linestatus varchar(1) not null,
   l_shipdate timestamp not null,
   l_commitdate timestamp not null,
   l_receiptdate timestamp not null,
   l_shipinstruct varchar(25) not null,
   l_shipmode varchar(10) not null,
   l_comment varchar(44) not null
);

3.3.2 编写配置文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58

[root@node1 job]# vi oracle2Mysql.json
{<!-- -->
"core":{<!-- -->
        "transport":{<!-- -->
            "channel":{<!-- -->
                "speed":{<!-- -->
                    "record":-1,
                    "byte":-1,
                "batchSize":2048
                }
            }
        }
    },
    "job": {<!-- -->
        "content": [
            {<!-- -->
                "reader": {<!-- -->
                    "name": "oraclereader",
                    "parameter": {<!-- -->
                        "splitPk": "l_orderkey",
                        "column": ["*"],
                        "connection": [
                            {<!-- -->
                                "jdbcUrl":  ["jdbc:oracle:thin:@192.168.20.2:1521:orcl"],
                                "table":["lineitem"]
                            }
                        ],
                        "password": "******",
                        "username": "username"
                    }
                },
                "writer": {<!-- -->
                    "name": "mysqlwriter",
                    "parameter": {<!-- -->
            "blockSizeInMB":128,
                        "column": ["*"],
                        "connection": [
                            {<!-- -->
                                "jdbcUrl": "jdbc:mysql://192.168.20.1:3307/datax_test",
                                "table": ["LINEITEM"]
                            }
                        ],
                        "password": "******",
                        "preSql": [],
                        "session": [],
                        "username": "root",
                        "writeMode": "update"
                    }
                }
            }
        ],
        "setting": {<!-- -->
            "speed": {<!-- -->
                "channel": "30"
            }
        }
    }
}

3.3.3 运行并查看结果

1

[root@node1 datax]# bin/datax.py ./job/oracle2Mysql.json

速度仅有2M/S，采取以下优化措施：
1） writer增加参数：“blockSizeInMB”:128
2） reader增加参数：“splitPk”: “l_orderkey”
3） 增大channel值
再次运行速度可以达到6-7M/S, 如下图
 

结果总用时917s：

Jvm调优：

1
2

[root@node1 bin]# vi datax.py
DEFAULT_JVM = "-Xms70g -Xmx70g -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=%s/log" % (DATAX_HOME)

3.4 DataX示例四： Postgres同步数据到Hive

直接上配置文件：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56

{<!-- -->
    "job": {<!-- -->
       "setting": {<!-- -->
            "speed": {<!-- -->
                 "channel": 3
            },
            "errorLimit": {<!-- -->
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [
            {<!-- -->
                "reader": {<!-- -->
                    "name": "postgresqlreader",
                    "parameter": {<!-- -->
                        "connection": [
                            {<!-- -->
                                "jdbcUrl": ["jdbc:postgresql://192.168.20.1:5432/testdb"],
                                "table": ["stu"]
                            }
                        ],
                        "password": "*******",
                        "username": "postgres",
                         "column": [
                             "id","name"
                         ]
                           
                    }
                },
                "writer": {<!-- -->
                    "name": "hdfswriter",
                    "parameter": {<!-- -->
                        "column": [
                {<!-- -->
                                "name": "id",
                                "type": "int"
                            },
                            {<!-- -->
                                "name": "name",
                                "type": "string"
                            }
                         ],
                        "compress": "",
                        "defaultFS": "hdfs://192.168.20.1:8020",
                        "fieldDelimiter": "\t",
                        "fileName": "stu",
                        "fileType": "text",
                        "path": "/griffin/data/batch/stu",
                        "writeMode": "append"
                    }
                }
            }
        ]
    }
}

小结：

1、本次示例的运行主机是32G -8核虚拟机，优化程度有限。
2、Mysql可以直接使用update参数做到增量同步，HDFS/Hive不可以，得需要借助shell脚本来实现，稍微麻烦一点。
3、Datax源码开源，在示例中需要取消程序对mysql的密码校验，就去修改了源码，总体来说还是很方便的。

phoenix0lf
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
DataX数据的迁移（MySQL、HDFS，Hive）
04-12
1.将Mysql中的数据迁移到Hdfs文件系统中，然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点： 1.数据迁移的过程中，由于hive的Null值存储为"\N"，Mysql存储为NULL值，二者转换时需要注意，再数据迁移json模板中，"nullFormat": "\\N", 该配置信息就是解决了数据迁移是存在的Null值。 2.如果hive中没有数值DataX迁移时会出现异常 执行语句：python /opt/module/datax/bin/datax.py /opt/module/datax/job/xxx.json
datax实战-mysql同步数据到hive
01-07
{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {
DataX使用示例：进行MySQL数据库间数据增量同步的示例配置
最新发布
学亮编程手记
02-17 209
另外，在生产环境中，要确保源库和目标库的表结构完全一致或者能够映射兼容，同时考虑事务处理、冲突检测等问题。对于复杂的增量同步场景，可能还需要借助数据库自身的binlog复制功能或其他更加精细的同步工具来保证数据一致性。为了定期执行这个任务，你需要结合定时任务调度器（如Linux Crontab、Windows Task Scheduler等）在每天固定时间运行DataX命令，并且每次运行前更新。条件中的时间戳至前一天结束的时间点。
数据从PostgreSQL导入到PostgreSQL的DataX模板
m0_46473165的博客
06-02 429
一些基础的datax模板
datax-＞hdfs到postgresql导数慢解决方式
cclovezbf的博客
05-21 2173
接着上篇文章说的事情。 所有bug解决完了，终于可以开始导数了，导数也很顺利，但是发现了一件不太舒服的事，速度怎么这么慢!!! 之前的速度一般为2w-3w/s，1000w的数据需要300s-500s,差不多5-10分钟，是可以接受的但是现在不到7000/s，不能接受，还是需要优化。 之前写过一篇很简单的优化oraclereader。提高channel的数量，多个任务去读取，但是看了hdfsreader的split的方法，这个切分就是根据文件个数切分的。 又要提到上次的任务了。 vendor
DataX-在Windows上实现postgresql同步数据到mysql
BADAO_LIUMANG_QIZHI的博客
04-27 1854
在上面实现sqlserver到mysql的数据同步之后，如果要实现postgresql到mysql数据同步流程一样。以PostGis中的OGC元数据表中的保存坐标系统信息的spatial_ref_sys表为例。在mysql中新建同样结构的表，将postgresql中这个表的数据同步到mysql的表中。
datax抽取数据到hdfs的null值变成''(引号)的问题
02-20
mysql的null值通过datax抽取到hdfs，会变成引号，这不是我们所需要的，所以需要修改一下datax的源码
mysql同步oracle数据_使用dataX将数据从Mysql数据库同步到Oracle数据
weixin_34777998的博客
01-18 356
最近有需求将数据从mysql同步到oracle，之前有使用kettle将表从oracle同步到mysql，这里使用的插件依然是阿里的dataX这里也是根据阿里云的一篇帖子来进行验证https://yq.aliyun.com/articles/715393?spm=a2c4e.11155472.0.0.3aef4dc1IWo28F1 环境需要JDK(1.8以上，推荐1.8)Python(推荐Pyth...
阿里巴巴开源DataX全量同步多个MySQL数据库
星哥说事
03-29 2509
上次 写了： https://mp.weixin.qq.com/s/_ZXqA3H__Kwk-9O-9dKyOQ 安装DataX这个开源工具，并且同步备份了几张数据表。但是发现一个问题，就是每张表都需要单独写一个 job。如果数据表有几百张是不是要写几百个，这个不太现实了。正当一筹莫展之际看到看到 @慌途L https://blog.csdn.net/qq_25112523/article/details/109276879 的文章，我根据文章这篇文章优化了一下，先理一下思路。
DataX oracle同步mysql(新增及变化)
小柒心得
07-11 2332
Datax 同步orcale 到 mysql 全量、新增及变化，使用Navicat转换oracle建表语句， 在mysql中生成表结构。
DataX 概述、部署、数据同步运用示例
JIE的博客
09-15 2581
DataX是阿里巴巴集团开源的、通用的数据抽取工具，广泛使用的离线数据同步工具/平台。它设计用于支持多种数据源之间的高效数据传输，可以实现不同数据源之间的数据同步、迁移、ETL（抽取、转换、加载）等数据操作。多数据源支持：DataX支持多种数据源，包括关系型数据库（如 MySQL、Oracle、SQL Server）、NoSQL 数据库（如 MongoDB、HBase、Redis）、HDFS、FTP、Hive 等。扩展性。
3、通过datax同步oracle相关-oracle到hdfs
05-29
3、通过datax同步oracle相关-oracle到hdfs 网址：https://blog.csdn.net/chenwewi520feng/article/details/130508968 介绍oracle的相关同步，oracle同步到hdfs中示例以及验证
4、datax同步sybase相关-sybase到hdfs
05-29
4、datax同步sybase相关-sybase到hdfs 网址：https://blog.csdn.net/chenwewi520feng/article/details/130508988 介绍sybase的相关同步，sybase到hdfs同步的示例及验证
2、通过datax同步mysql相关-mysql同步到mysql、mysql和hdfs相互同步
05-29
2、通过datax同步mysql相关-mysql同步到mysql、mysql和hdfs相互同步 网址：https://blog.csdn.net/chenwewi520feng/article/details/130509875 介绍mysql的相关同步，mysql同步到mysql、mysql和hdfs相互同步
Datax 支持增量 postgresql writeMode update
Cecotw
06-20 6163
Datax 支持 postgresql updatedatax介绍支持增量 postgresql update修改 PostgresqlWriter.java修改WriterUtil.java源码 datax介绍 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 支持
datax --postgresql使用
热门推荐
kevin
02-12 1万+
datax1.json { "job": { "setting": { "speed": { "byte":1048576, "channel":"4" } }, "content": [
DATAX 数据迁移 oracle-oracle
weixin_42418589的博客
07-27 3725
DATAX 数据迁移 oracle-oracle
oracle order by效率慢_DataX迁移oracle数据到PostgreSQL
weixin_39767983的博客
12-03 711
我们在迁移Oracle到PostgreSQL的过程中，遇到了一些不小的挑战。使用Ora2PG工具迁移数据遇到的小问题比较多，同时在迁移LOB字段的时候，性能表现不够理想，于是我们采用了DataX来做数据迁移。[DataX3.0概览]先介绍一下DataX，DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台。特点是实现了众多异构数据源之间高效的数据同步功能。我们当前使用ogg软件来...
DataX和Oracle使用案例
CSDN2022博客之星Top39；华为云博主7&，CSDN、稀土掘金、微信公众号、阿里云开发者社区、腾讯云社区、博客园、知乎、51CTO同名博主WHYBIGDATA；
03-15 7332
DataX和Oracle使用案例
怎么使用datax将MySQL数据导入hdfs
06-09
DataX是阿里巴巴开源的数据同步工具，它可以将多种数据源的数据导入到Hadoop生态圈中的HDFS、Hive、HBase等存储系统中。下面是将MySQL数据导入HDFS的具体步骤： 1. 安装配置DataX 首先，需要在本地或者服务器上安装配置DataX，具体步骤可以参考DataX的官方文档。 2. 配置MySQL数据源 在DataX的配置文件中，需要配置MySQL数据源的信息，包括MySQL的主机名、端口号、数据库名称、用户名、密码等。配置文件的格式可以参考DataX官方文档。 3. 配置HDFS数据源 同样在配置文件中，需要配置HDFS数据源的信息，包括HDFS的namenode地址、HDFS的用户名等。配置文件的格式可以参考DataX官方文档。 4. 配置数据同步任务 在配置文件中，需要配置数据同步任务的信息，包括数据源、目的地、同步策略等。具体步骤可以参考DataX官方文档。 5. 运行DataX 配置完成后，可以运行DataX进行数据同步。在DataX的安装目录下，可以使用如下命令运行DataX： ``` python bin/datax.py job/job.json ``` 其中，job.json是配置文件的名称。 以上就是使用DataX将MySQL数据导入HDFS的基本步骤，具体操作还需要根据实际情况进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值