问题背景: 执行dolphinscheduler开发datax脚本失败,排查报错:
报错原因:
dolphinscheduler在调用python命令时,使用的是安装包自带的pyhon环境变量。
详情见/conf/env/dolphinscheduler_env.sh
export HADOOP_HOME=/opt/soft/hadoop
export HADOOP_CONF_DIR=/opt/soft/hadoop/etc/hadoop
export SPARK_HOME1=/opt/soft/spark1
export SPARK_HOME2=/opt/soft/spark2
export PYTHON_HOME=opt/soft/python
export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
export HIVE_HOME=/opt/soft/hive
export FLINK_HOME=/opt/soft/flink
export DATAX_HOME=/opt/soft/datax
解决办法:
步骤1:停掉当前的dolphinscheduler服务。
bin/stop-all.sh
步骤2:修改dolphinscheduler_env的python环境变量配置,改为python的可执行文件路径
例如:如果Python的可执行文件路径为/usr/bin/python,则将配置项修改为:python.env=/usr/bin/python;
步骤3:重启当前的dolphinscheduler服务。
bin/start-all.sh
修改结果:
重新执行正确报错的任务,成功运行: