datax和datax-web在Windows上安装和测试

概述说明:

datax说明:

DataX 是阿里巴巴集团开源的一款用于实现各种数据源之间数据同步的数据交换工具。它支持从不同类型的数据源(如关系型数据库、NoSQL 数据库、HDFS、Hive、HBase 等)抽取数据,并将数据加载到目标数据存储或数据仓库中。

下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

datax-web说明:

DataX-Web 是 DataX 的可视化管理界面,它提供了基于 Web 的图形化操作界面,帮助用户更直观、方便地管理和运行 DataX 任务。

下载地址:https://gh.api.99988866.xyz/https://github.com/WeiYe-Jing/datax-web/archive/refs/tags/v-2.1.2.tar.gz

环境准备:

需要安装Java (jdk版本建议1.8.0以上)

Python2.7

数据库Mysql 5.7 或 Mysql 8.0

安装datax

解压到你想存放的文件夹下面

判断是否安装成功

在bin目录下面创建一个json文件,并把内容输入进去

{

  "job": {

    "content": [

      {

        "reader": {

          "name": "streamreader",

          "parameter": {

            "sliceRecordCount": 10,

            "column": [

              {

                "type": "long",

                "value": "10"

              },

              {

                "type": "string",

                "value": "hello,你好,世界-DataX"

              }

            ]

          }

        },

        "writer": {

          "name": "streamwriter",

          "parameter": {

            "encoding": "UTF-8",

            "print": true

          }

        }

      }

    ],

    "setting": {

      "speed": {

        "channel": 5

       }

    }

  }

}

在datax的bin目录打开cmd:

输入python datax.py ./stream2stream.json

如果出现以下两种结果之一,说明安装成功了

安装datax-web

解压修改文件

用idea打开下载好的文件

刚开始导入文件需要等待一段时候,Maven要加载相应的包

需要修改两个文件

文件一:

根据自己的情况相应修改

datax_web是数据库名字,记得使用db下面的sql文件运行

文件一修改内容:

文件二:

修改内容:

根据相应的位置进行修改

完成之后分别运行java文件:

输入网址:http://127.0.0.1:8080/index.html

登录

用户:admin

密码:123456

登录就OK了

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
DataX是一个开源的数据同步工具,主要用于在不同数据源之间高效地传输大量数据。DataX-webDataXWeb版控制台,它提供了一个用户友好的界面来管理和监控DataX任务的执行。 要连接DataXDataX-web,你需要按照以下步骤操作: 1. **安装DataX**:首先,确保你已经在本地或服务器上安装DataX。你可以从DataX的GitHub仓库下载并按照官方文档进行安装。 2. **配置DataX任务**:使用命令行工具创建DataX的任务配置文件(如:job.yaml),指定源和目标数据库、表名、字段等信息。在配置中,可能需要设置一些连接参数,如用户名、密码、URL等。 3. **运行DataX任务**:使用DataX的命令行工具(如`java -jar datax-*.jar job job.yaml`)启动任务,DataX会根据配置文件执行数据同步操作。 4. **启动DataX-web**:在DataX-web安装目录下运行web服务器,例如`cd datax-web && ./bin/start.sh`(假设你在Linux环境下)。这将启动一个本地HTTP服务器,提供DataX-web界面。 5. **访问DataX-web**:在浏览器中输入`http://localhost:8080`(默认端口),你将看到DataX-web的登录页面。如果你之前没有设置过用户,通常可以使用默认的管理员账户(用户名:admin,密码:admin)登录。 6. **添加、编辑和查看任务**:登录后,可以在DataX-web界面中添加新的任务配置,编辑现有的任务,以及查看任务执行状态和日志。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值