一,基础环境准备
1,jdk安装(1.8)
2,mysql5.7安装
3,python安装(2.7以上)
4,datax安装 http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz,
下载后解压,如果python安装的是3.X版本的,需要将datax-web工程的datax-web\doc\datax-web\datax-python3这个目录下的3个python文件复制并替换到 datax的bin目录
二,datax源码下载编译
5,datax源码下载 https://github.com/WeiYe-Jing/datax-web.git
idea 导入datax-web工程 maven建议3.6.1及以上,中央仓库用阿里云,等待依赖全部下载完毕
6,建dataxweb数据库,运行datax-web bin目录下db文件夹的sql
7,修改datax-web/datax-admin 下的application.yml
port启动的端口,数据源根据自己本地环境配置
mail 邮件配置 随便配个邮箱
8,修改datax-web/datax-executor 下的application.yml
修改admin addresses 改成datax-admin模块的地址+端口,修改pypath 为你本地datax bin 目录的datax.py
9,修改完成后,先启动DataXAdminApplication 再启动DataXExecutorApplication
10,登录访问127.0.0.1:8080/index.html admin/123456
10,登录进去,进入主页面
三,问题解决
1,下载datax 后 测试安装是否成功 :进入datax的bin目录
2、新建一个文件为:test.json,把下面的内容复制到,test.json文件内。
{
"job": {
"content": [
{
"reader": {
"name": "streamreader",
"parameter": {
"sliceRecordCount": 10,
"column": [
{
"type": "long",
"value": "10"
},
{
"type": "string",
"value": "hello,你好,世界-DataX"
}
]
}
},
"writer": {
"name": "streamwriter",
"parameter": {
"encoding": "UTF-8",
"print": true
}
}
}
],
"setting": {
"speed": {
"channel": 5
}
}
}
}
3,在bin目录输入cmd,如下图,进入doc命令窗口
4,防止乱码先输入:CHCP 65001, 再输入:python datax.py ./stream2stream.json 按回车,出现如下结果,说明按照成功了
5,如果通过datax-web任务还不能执行成功,修改datax-web工程BuildCommand这个类
红框位置改成自己本地python安装的地址;
至此整个datax-web就完成了idea源码的运行,可以愉快的使用datax-web进行任务的构建及执行了!!
有问题欢迎讨论!!!!