DataX的简单使用(linux)

最新推荐文章于 2024-09-20 20:53:17 发布

命运本如此，莫问何所以

最新推荐文章于 2024-09-20 20:53:17 发布

阅读量1k

点赞数

分类专栏： datax 文章标签： centos linux python 数据库 mysql

本文链接：https://blog.csdn.net/weixin_44013965/article/details/116452082

版权

datax 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

本文介绍了在CentOS7环境下，利用DataX工具进行MySQL数据库之间的数据同步。首先确保Python版本为2.7.5，安装JDK1.8，然后下载并解压DataX工具包。接着，编写数据同步脚本mysql.json，配置源数据库和目标数据库的连接信息。执行同步命令`python datax.py mysql.json`，成功后将看到相应提示。此过程适用于数据表结构一致或兼容的情况。

摘要由CSDN通过智能技术生成

使用条件

python版本(本人使用centos7默认安装的python版本2.7.5)
datax工具包(http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz)
jdk1.8
数据同步的两个表的结构及字段类型要一致或者兼容

使用步骤

解压datax工具到指定目录(自定义,没有硬性要求,可以自己创建),解压后目录结构如下
编写数据同步脚本(模板如下)
mysql.json(数据库连接的是在linux上安装的mysql,创建了两个库,方便操作)

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader", 
                    "parameter": {
                        "column": [
							"id",
                            "name",
							"age",
							"sex"
						], 
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://127.0.0.1:3306/test"], 
                                "table": ["student"]
                            }
                        ], 
                        "password": "root", 
                        "username": "root"
                    }
                }, 
                "writer": {
                    "name": "mysqlwriter", 
                    "parameter": {
                        "column": [
							"id",
                            "name",
							"age",
							"sex"
						], 
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/demo", 
                                "table": ["student"]
                            }
                        ], 
                        "password": "root", 
                        "username": "root"
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}