数据同步工具datax使用、datax_web安装和使用

啥TM也不会

已于 2023-01-12 16:26:43 修改

阅读量4.0k

点赞数

分类专栏：数据同步文章标签：数据库

于 2022-11-07 18:02:57 首次发布

原文链接：http://wjhsh.net/goubb-p-12403944.html

版权

数据同步专栏收录该内容

1 篇文章 0 订阅

订阅专栏

datax GitHub地址：https://github.com/alibaba/DataX.git

datax web Git地址：https://github.com/WeiYe-Jing/datax-web

datax 下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

datax web 下载地址：

datax安装

datax需要python环境，可输入命令，查看是否有python环境

python

python环境安装教程：

datax是通过编写json脚本语言进行数据同步的，格式例子如下（mysql-mysql），

{
  "job": {
    "setting": {
      "speed": {
        "channel": 3,
        "byte": 1048576
      },
      "errorLimit": {
        "record": 0,
        "percentage": 0.02
      }
    },
    "content": [
      {
        "reader": {
          "name": "mysqlreader",
          "parameter": {
            "username": "源数据库用户名",
            "password": "源数据库密码",
            "column": [
              "`aaa`",
              "`bbb`",
              "`ccc`",
              "`time`"
            ],
            "where": "time>= ${lastTime} and time< ${currentTime}",
            "splitPk": "",
            "connection": [
              {
                "table": [
                  "源表名"
                ],
                "jdbcUrl": [
                  "jdbc:mysql://源数据库ip:源数据库端口/源数据库名?serverTimezone=Asia/Shanghai&useLegacyDatetimeCode=false&useSSL=false&nullNamePatternMatchesAll=true&useUnicode=true"
                ]
              }
            ]
          }
        },
        "writer": {
          "name": "mysqlwriter",
          "parameter": {
            "username": "目标数据库用户名",
            "password": "目标数据库密码",
            "writeMode": "update",
            "column": [
              "`aaa`",
              "`bbb`",
              "`ccc`",
              "`time`"
            ],
            "connection": [
              {
                "table": [
                  "目标表名"
                ],
                "jdbcUrl": "jdbc:mysql://目标数据库ip:目标数据库端口/目标数据库名?serverTimezone=Asia/Shanghai&useLegacyDatetimeCode=false&useSSL=false&nullNamePatternMatchesAll=true&useUnicode=true"
              }
            ]
          }
        }
      }
    ]
  }
}

其他数据源交互参考datax GitHub的数据源参考指南

window版

datax下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

将安装包放到window任意目录下，解压即可

测试datax

1、打开cmd界面（同时按下Windows键+R键）

2、输入CHCP 65001 防止中文乱码

3、跳转到datax的bin目录下

D:
cd D:datax\bin

4、查看模板、输入命令

python datax.py -r streamreader -w streamwriter

5、将写好的json脚本放到bin目录下

6、输入命令执行

python datax.py json.json

linux版

将下载好的 datax.tar.gz包上传到linux目录下

cd到该目录，执行命令

tar -zxvf datax.tar.gz

进入到datax的bin目录下

cd datax/bin

输入命令，进行检查

python datax.py ../job/job.json

执行成功的部分截图

备注

如果你的python环境是python3.0以上的话，请下载对应的三个.py文件代替datax文件夹中bin目录下的三个.py文件即可。

遇到的报错：

1.您提供的配置文件[/srv/soft/datax/plugin/reader/._drdsreader/plugin.json]不存在. 请检查您的配置文件

就是找不到配置文件，去文件夹下查看，存在同名的._xxx文件和xxx文件夹

删除._xxx文件即可解决问题

linux：

执行命令

find /srv/soft/datax/plugin/reader/ -type f -name "._*er" | xargs rm -rf
find /srv/soft/datax/plugin/writer/ -type f -name "._*er" | xargs rm -rf

window：

datax/plugin/reader和datax/plugin/reader删除所有 .xxxxxreader和.xxxxxwriter 文件

2.java.lang.Exception: DataX无法连接对应的数据库，可能原因是：1) 配置的ip/port/database/jdbc错误，无法连接。2) 配置的username/password错误，鉴权失败。请和DBA确认该数据库的连接信息是否正确。

json脚本是做mysql数据同步

数据库连接超时、检查配置文件，查看参数是否配置错误，或者可能是mysql驱动版本问题，mysql5.5和mysql5.7+驱动不相同

我的问题就是因为mysql版本问题，需要升级版本，版本升级参考下面文章

环境问题的解决

1.datax的python环境替换

datax的bin目录的文件，将里面的文件全部替换成需要的环境的即可

2.datax中mysql5.5升级mysql5.7（其他数据库版本升级、datax重编译都可以参考思路、linux和window通用）

这个就需要对datax源码进行修改后重新编译

1、git上下载datax项目，使用master分支

datax GitHub地址：https://github.com/alibaba/DataX.git

2、maven的中setting文件增加阿里镜像

<mirror>
	 <id>alimaven</id>  
	 <name>aliyun maven</name>  
	 <url>http://maven.aliyun.com/nexus/content/groups/public/</url>  
	 <mirrorOf>central</mirrorOf>          
</mirror>

3、将datax项目的主pom.xml文件中的 mysql.driver.version 改成自己需要的版本

或者直接修改mysqlreader和mysqlwriter项目下的pom.xml

com.alibaba.datax.plugin.writer.adswriter.load.AdsHelper

com.alibaba.datax.common.exception.DataXException.DataBaseType

将以上两个类中的 com.mysql.jdbc.Driver 全局修改成 com.mysql.cj.jdbc.Driver

4、datax项目clear，install，reload maven将依赖全部下载，保证项目正常编译

说明：在install编译过程中，如果编译报错，查看报错信息，找到报错类，进行解决。一般来说，datax项目都是@Test的测试类导致的报错，这种问题可以将@Test注释掉或者使用跳过测试的编译方式进行编译，如下图

5、install成功后将新打的jar替换掉旧的jar包即可

就是将自己本地打好的新的jar替换服务器上的旧的jar包，jar包所在目录服务器和本地一般都是相同的

在datax\plugin\reader\mysqlreader目录中，将旧mysqlreader-0.0.1-SNAPSHOT.jar替换成新包

并将mysql驱动jar(同pom.xml的版本)放入datax\plugin\reader\mysqlreader\libs中

在datax\plugin\writer\mysqlwriter目录中，将旧mysqlwriter-0.0.1-SNAPSHOT.jar替换成新包

并将mysql驱动jar(同pom.xml的版本)放入datax\plugin\writer\mysqlwriter\libs中

版本升级结束

参考地址：https://blog.csdn.net/tototuzuoquan/article/details/102601515

datax_web安装和使用

下载安装包-datax-web-2.1.2.tar.gz，并上传到linux服务器目录下

输入命令解压

tar -zxvf datax-web-2.1.2.tar.gz

解压后，进入datax-web-2.1.2/bin目录下执行install.sh脚本进行datax_web的安装

datax-web-2.1.2/bin/install.sh

根据提示填写安装信息即可

获得datax_web的数据库脚本datax_web.sql，将脚本导入数据库中，脚本在目录/datax-web-2.1.2/bin/db下

修改datax-admin配置

修改datax-admin服务端口1（经过测试，这里修改端口并不会生效，改不改都可以）、数据源配置1（数据库名就是sql脚本导入的所在库名）

vi datax-web-2.1.2/modules/datax-admin/conf/application.yml

邮箱和mybatis日志信息需要修改，不需要不用修改

修改datax-admin服务端口2（真正修改web端口的地方）

vi datax-web-2.1.2/modules/datax-admin/bin/env.properties

修改端口

这个端口就是进入datax web的端口地址（http://ip:1001/index.htm）

修改数据源配置2

vi datax-web-2.1.2/modules/datax-admin/conf/bootstrap.properties

如果安装时修改了配置文件就不需要在修改了，否则需要修改，启动最好先检查一遍

修改datax-executor配置

修改datax-executor服务端口1、日志地址、dataxWeb_admin端口、执行器端口、datax-json地址、datax执行地址。

vi datax-web-2.1.2/modules/datax-executor/conf/application.yml

修改datax-executor服务的端口1（不知道修改有没有用、还是改吧）

修改日志地址：path不改dataxWeb-executor服务启动可能会报找不到文件夹的错误，不报错不用改（看需求更改）

修改dataxWeb_admin端口、执行器端口：addresses就是dataxWeb_admin所配置的ip和端口、port为执行器的端口（一个新的端口号）

修改datax-json地址、datax执行地址：jsonpath是安装datax服务的json脚本所存储的地址、pypath是安装datax服务执行文件所在地址

修改datax-executor服务端口2、配置datax-admin端口、配置执行器端口

vi datax-web-2.1.2/modules/datax-executor/bin/env.properties

EXECUTOR_PORT：执行器端口

DATAX_ADMIN_PORT：dataxWeb_admin服务端口

PYTHON_PATH：datax执行脚本文件地址

SERVER_PORT：dataxWeb_executor端口（真正修改data_executor服务的端口）

至此，配置已经修改完成

启动datax_web

启动datax-admin和datax-executor，执行

datax-web-2.1.2/bin/start-all.sh

输入地址：http://ip:port/index.html 进入管理页面，用户名：admin，密码：123456

问题解决

1、输入地址后，无法访问管理页面

进入datax-web-2.1.2/modules/datax-admin/bin目录下找到console.out文件，进入查看启动日志，看看是否启动成功。

查询到了问题，是因为缺少mysql5.7的jar包

找个高版本的jar（我用的是mysql-connector-java-8.0.28）

将jar包上传到datax-web-2.1.2/modules/datax-admin/lib目录下（可以将原mysql的jar删除）

重新启动服务

2、输入地址后，无法访问管理页面

datax-web-2.1.2/modules/datax-admin/bin和datax-web-2.1.2/modules/datax-executor/bin下都有console.out服务器启动的日志文件，查看是否有报错

3、输入地址后，无法访问管理页面

服务器端口防火墙是否开通