dolphinScheduler
文章平均质量分 85
黑眼圈@~@
不断的学习只为骄傲的活着。
展开
-
海豚1.3单节点,多集群设置
单节点海豚多集群环境原创 2023-05-06 11:30:13 · 970 阅读 · 0 评论 -
dolphinscheduler海豚调度升级(1.3.3->2.0.5)及问题总结
文章写于2022-04-14。我们公司用的海豚1.3.3版本,这个版本问题有点多。影响到了生产了,所以准备对海豚进行个升级。升级到海豚最新版本是2.0.5。这个版本还是有点坑,毕竟新增了一些东西。不过相对1.3.3,我更喜欢2.x的海豚。接下来,我将升级过程及升级后出现的BUG记录起来。官网升级步骤地址:https://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/guide/upgrade.html升级还是比较容易的只需要.....原创 2022-04-14 18:40:26 · 6795 阅读 · 12 评论 -
海豚调度任务如何判断任务成功还是失败(源码)?
前言:在海豚调度中,大家肯定会遇到一种情况就是,任务成功,但是显示失败。是不是感觉很困扰。我现在也遇到这个情况。我们公司开发人员在执行之前老代码(hive引擎)的时候。偶尔成功偶尔失败。海豚调度到底是如何判断任务的成功和失败的?异常:查看海豚的worker日志。光看日志报错,各位大佬基本就能猜到了吧~没错,海豚在执行完,获取执行这个任务中的所有application_id。然后通过yarn的API。去获取最终状态。那是不是呢?我们看源码。源码位置:org/ap..原创 2022-02-25 16:17:13 · 3414 阅读 · 4 评论 -
dolphinScheduler1.3.3(海豚调度)worker卡死
前言对于我这个问题,我在社区上提过issues: https://github.com/apache/dolphinscheduler/issues/6959但是没有人回复和提供解决方案。然后我只能自己改源码,把问题就解决了。我把解决方案放到issues上。但是前段时间社区关闭了我的问题。所以我放到这里吧。问题我的海豚集群版本是1.3.3,我有两个master节点和很多workergroup,其中一个workergroup有一个worker节点。当我这个worker节点服务宕了。配置到这原创 2022-01-19 13:29:40 · 4962 阅读 · 8 评论