概述说明:
datax说明:
DataX 是阿里巴巴集团开源的一款用于实现各种数据源之间数据同步的数据交换工具。它支持从不同类型的数据源(如关系型数据库、NoSQL 数据库、HDFS、Hive、HBase 等)抽取数据,并将数据加载到目标数据存储或数据仓库中。
下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
datax-web说明:
DataX-Web 是 DataX 的可视化管理界面,它提供了基于 Web 的图形化操作界面,帮助用户更直观、方便地管理和运行 DataX 任务。
下载地址:https://gh.api.99988866.xyz/https://github.com/WeiYe-Jing/datax-web/archive/refs/tags/v-2.1.2.tar.gz
环境准备:
需要安装Java (jdk版本建议1.8.0以上)
Python2.7
数据库Mysql 5.7 或 Mysql 8.0
安装datax
解压到你想存放的文件夹下面
判断是否安装成功
在bin目录下面创建一个json文件,并把内容输入进去
{
"job": {
"content": [
{
"reader": {
"name": "streamreader",
"parameter": {
"sliceRecordCount": 10,
"column": [
{
"type": "long",
"value": "10"
},
{
"type": "string",
"value": "hello,你好,世界-DataX"
}
]
}
},
"writer": {
"name": "streamwriter",
"parameter": {
"encoding": "UTF-8",
"print": true
}
}
}
],
"setting": {
"speed": {
"channel": 5
}
}
}
}
在datax的bin目录打开cmd:
输入python datax.py ./stream2stream.json
如果出现以下两种结果之一,说明安装成功了
安装datax-web
解压修改文件
用idea打开下载好的文件
刚开始导入文件需要等待一段时候,Maven要加载相应的包
需要修改两个文件
文件一:
根据自己的情况相应修改
datax_web是数据库名字,记得使用db下面的sql文件运行
文件一修改内容:
文件二:
修改内容:
根据相应的位置进行修改
完成之后分别运行java文件:
输入网址:http://127.0.0.1:8080/index.html
登录
用户:admin
密码:123456
登录就OK了