apache-dolphinscheduler的使用问题总结

本文总结了Apache DolphinScheduler在使用过程中遇到的问题,包括租户问题、Python任务环境变量问题、资源中心创建失败及Zookeeper同步问题,并提供了详细的解决办法。例如,针对租户问题,通过修改源码避免使用sudo;对于Python任务,需设置用户环境变量以解决JAVA_HOME缺失问题;资源中心错误是由于SQL语法问题,需修改数据库字段类型;Zookeeper同步延迟问题,调整配置参数以优化同步速度。
摘要由CSDN通过智能技术生成

(本文不定期更新)

目录

一、租户问题

二、指定虚拟python环境的python类型任务的执行时环境变量问题

三、资源中心创建目录或者文件失败

四、由zookeeper同步引起的shutdown问题


一、租户问题

本人使用环境是大家分别使用自己账户登录跳板机,然后共同使用同一个服务器linux账户进行工作,所以不涉及多个linux用户的切换问题(即dolphinscheduler的多租户)。但是共用账户本身没有root权限,需要找运维申请,但是权限时间有限。故在部署的时候就不使用root权限账户,而直接使用共用账户部署。然后下载源码后,将涉及“sudo -u”相关的命令注释掉或者改写,从而实现正常使用。

二、指定虚拟python环境的python类型任务的执行时环境变量问题

因为某些特殊任务需要使用虚拟python环境,独立进行worker分组,并指定该环境为dolphinscheduler-env.sh的PYTHON_HOME。但是在执行的时候,出现了报错:

找不到JAVA_HOME,这个是使用pyflink的时候,由pyflink在创建执行环境的时候报的错:

s_env = StreamExecutionEnvironment.get_execution_environment() 

将该代码注释掉,加入代码:

import os

print('os的环境变量有:',os.system('env')) 

查看到该次执行的JAVA_HOME为空:

  

但是dolphinscheduler-env.sh命名设置了JAVA_HOME,重启worker-server也不生效。

最终解决:设置该用户的环境变量(修改全局环境变量有风险,只修改该用户的即可)
 

 vim ~/.bashrc

export JAVA_HOME=/usr

export PATH=$JAVA_HOME/bin:$PATH

 因为使用which java是能够在/usr/bin目录找到可执行java的,所以只设置为/usr即可。

三、资源中心创建目录或者文件失败

api-server报的错,查看日志:

### The error occurred while setting parameters
### SQL: INSERT INTO t_ds_resources  ( file_name, size, create_time, description, full_name, alias, update_time, pid, type, user_id, is_directory )  VALUES  ( ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ? )
### Cause: org.postgresql.util.PSQLException: ERROR: column "is_directory" is of type integer but expression is of type boolean
  Hint: You will need to rewrite or cast the expression.
  Position: 192
; bad SQL grammar []; nested exception is org.postgresql.util.PSQLException: ERROR: column "is_directory" is of type integer but expression is of type boolean
  Hint: You will ne

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Apache DolphinScheduler (海豚调度)是一个开源的大数据分布式工作流、任务调度系统,属于Apache基金会孵化器项目。DolphinScheduler能够支持Hadoop、Spark、Flink、Storm、Hive等大数据生态系统中的常用计算框架,支持Docker、Shell、Python等常用脚本语言。其最新版本为3.1.3。 该版本在上一个版本的基础上进行了多项升级和改进,包括: 1.添加了对Docker Compose的支持: 用户可以在调度任务时使用Docker Compose打包和运行任务。 2.Planner-Dynamic算法升级: Planner-Dynamic算法可以根据任务执行延迟等不同因素进行动态调整,从而提高任务的执行效率和稳定性。 3.增加了任务执行状态监控: 用户可以实时查看任务执行的状态,包括任务的进度、日志和结果等。 4.优化了任务失败重试机制: DolphinScheduler增加了任务失败重试机制,可以自动重试失败的任务,从而提高系统的稳定性和可靠性。 5.增加了多个Web UI支持: DolphinScheduler增加了多个Web UI页面,包括对任务执行状态监控和调度任务等功能的支持,提供了更加易于使用的用户界面。 6.优化了系统性能和稳定性: DolphinScheduler针对上一个版本中的一些问题进行了优化和改进,包括系统的性能、稳定性和可扩展性等方面。 综上所述,Apache DolphinScheduler 3.1.3版本在功能、性能、稳定性和易用性等方面得到了多项升级和改进,在大数据分布式任务调度和工作流领域具有广泛的应用前景。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值