DataX-Web 2.1.3-alpha-release 问题处理记录

环境JDK1.8

node 10.24.1

python 2.X

Datax分支tag202309版本

1、后端项目  分支使用2.1.3-alpha-releaseGitHub - WeiYe-Jing/datax-web: DataX集成可视化页面，选择数据源即可一键生成数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，批量创建RDBMS数据同步任务，集成开源调度系统，支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。DataX集成可视化页面，选择数据源即可一键生成数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，批量创建RDBMS数据同步任务，集成开源调度系统，支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。 - WeiYe-Jing/datax-webhttps://github.com/WeiYe-Jing/datax-web.git

      前端项目  分支使用2.1.3-alpha-release

        GitHub - WeiYe-Jing/datax-web-ui: DataX Web UI

2、 前端无法npm install 问题

        问题原因是由于markdown组件改名导致

        解决方案一：删除package.json中  "tui-editor": "1.3.3"

        解决方案二：npm install失败的分析与解决方案，以及修复完成的代码地址 · Issue #3988 · PanJiaChen/vue-element-admin · GitHub

3、自行打包的阿里Datax项目部署后需要修改 core.json中的speed.byte  由-1 改为200000

4、IDEA开发环境启动项目会报异常找不到winutils

        需要下载hadoop 我用的是2.10.2

 下载地址  Apache Hadoophttps://hadoop.apache.org/从该项目下载一个winutils.exe        https://github.com/Liuyg2012Lab/hadoop-common-2.8.1-bin.git

配置hadoop环境变量

新增HADOOP_HOME

添加到PATH中

5、执行Datax任务时报找不到datax.py

       将datax-executor项目中的application.yml文件中的datax.pypath直接改成和 bin目录下env.properties文件中的PYTHON_PATH一样的路径

6、前端新增数据源报400Bad Request

是由于connectionParams这个传参导致的，临时处理可以将这个参数再调用接口前设置为undefined不影响新增修改等操作

永久处理需要修改逻辑请自行处理

7、部署在linux服务器上的项目启动前需要先安装jps不然会提示启动失败

8、本地启动如果提示找不到Python可以在环境变量中配置下PYTHON_HOME并添加到PATH