DolphinScheduler使用问题记录

文章介绍了DolphinScheduler在遇到storagenotstartup错误时的解决方法,包括修改配置文件和在HDFS上创建目录。同时,提到了Chunjun组件的两个问题:节点保存失败和任务实例日志中的initializationofVM错误。对于前者,需要修改前端JS文件;后者则在3.1.5版本中仍然存在,解决方案待确定。
摘要由CSDN通过智能技术生成

1.资源中心 功能板块 出现 storage not startup

#问题原因

        提示:“storage not startup”,顾名思义:未启用存储

#解决方式

       1. 修改两个 common.properties 文件:

                api-server/conf/common.properties 

                worker-server/conf/common.properties

vim api-server/conf/common.properties

vim worker-server/conf/common.properties
#修改以下参数:
resource.storage.type=HDFS  (默认为NONE)

resource.storage.upload.base.path=hdfs://192.168.233.130:8020/dolphinscheduler (写绝对路径)

resource.hdfs.fs.defaultFS=hdfs://192.168.233.130:8020   (HDFS地址)

        2.修改后创建目录还是会报错:(UDF管理 创建文件夹 也是类似的错误提示)

         3.根据报错信息 在 HDFS 创建 路径,并赋权限 777,(UDF管理同操作)

#在hdfs创建/dolphinscheduler/test/resources目录
hadoop fs -mkdir -p /dolphinscheduler/test/resources

#赋权限
hadoop fs -chmod -R 777  /dolphinscheduler/test/resources

解决:创建目录成功,在HDFS可以查询到 

2. chunjun 组件节点 无法保存

#问题原因 

        chunjun功能上线时间短,存在bug

#解决方式

        修改  前端 js文件:

                dolphinscheduler/ui/assets/detail-*.js

                api-server/ui/assets/detail-*.js

        detail-*.js 每次编译文件名都不同,有三个 文件,需要自己去找,文件内容最多的就是了

         两个目录下的 js 文件修改 后 重启 dolphinscheduler ,再次保存就会成功

3.chunjun 任务实例运行成功但日志出现initialization of VM

        但日志最后几行 显示  initialization of VM

#问题原因

        chunjun任务正常提交,但无法启动chunjun

#解决方式

        查网上资料 说3.1.4版本后解决此问题,但我使用的是3.1.5版本还是有这问题出现

        (未解决,待续...)

4.待续。。。

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

只爱大锅饭

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值