使用DataX同步数据库数据，并使用DataX-Web创建同步任务

一、安装DataX

1. 首先需要安装jdk和python环境

2. 从网上下载datax压缩包datax下载

3. 将压缩包上传至服务器，并解压

 tar -xzvf datax.tar.gz

4. 切换到datax目录下的bin目录，并创建json文件夹用于存放json文件

5. 在json文件夹中创建一个测试文件test.json

{
  "job": {
    "content": [
      {
        "reader": {
          "name": "streamreader",
          "parameter": {
            "column": [
              {
                "type": "string",
                "value": "Hello."
              },
              {
                "type": "string",
                "value": "world"
              },
              
            ],
            "sliceRecordCount": "3"
          }
        },
        "writer": {
          "name": "streamwriter",
          "parameter": {
            "encoding": "utf-8",
            "print": true
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": "2"
      }
    }
  }
 }

6. 切换到datax的bin目录下执行

 python datax.py ./json/test.json

7. 测试数据库同步

8. 创建两个数据库，拥有相同的表user,库1user表有数据，库2user表无数据

库1：

库2：

9. 在json目录下创建mysql2msql.jsom文件

{
  "job": {
    "content": [
      {
        "reader": {
          "name": "mysqlreader",
          "parameter": {
            "username": "root",
            "password": "123456",
            "column": [
              "*"
            ],
            "splitPk": "id",
            "connection": [
              {
                "table": [
                  "user"
                ],
                "jdbcUrl": [
                  "jdbc:mysql://127.0.0.1:3306/ynjkm"
                ]
              }
            ]
          }
        },
        "writer": {
          "name": "mysqlwriter",
          "parameter": {
            "writeMode": "insert",
            "username": "root",
            "password": "123456",
            "column": [
              "*"
            ],
            "preSql": [
              "truncate user"
            ],
            "connection": [
              {
                "jdbcUrl": "jdbc:mysql://1270.0.1:3306/ynjkm2?useUnicode=true&characterEncoding=utf8",
                "table": [
                  "user"
                ]
              }
            ]
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": 6
      }
    }
  }
}

10. 在datax的bin目录下执行

 python datax.py ./json/mysql2mysql.json 

执行完成

库2user表可以看到已经被同步过来

二、安装DataX-Web

为了更方便进行数据同步，可以安装DataX-Web进行可视化管理

1. 下载DataX-Web压缩包DataX-Web下载

2. 将压缩包上传到指定目录并解压

3. 进入解压后的目录，执行命令，并选择安装datax-web的数据库

./bin/install.sh  

4. 进入安装目录，编辑 env.properties，修改PYTHON_PATH

 vi ./modules/datax-executor/bin/env.properties

5. 进入安装目录，执行

./bin/start-all.sh

6. 查看是否启动

7. 打开datax-web面板

地址：ip：9527/index.html 账号：admin 密码：123456

8. 创建数据源，其中db1中user有数据，db2中user无数据

9. 创建项目

10. 创建任务模板

11. 构建任务，选择模板，将json中byte和errorlimit删除

12. 查看任务

13. 测试任务，选择操作，执行一次任务，并查看日志

14. 查看库2user表，数据已经被同步过来