dolphin
文章平均质量分 95
cclovezbf
这个作者很懒,什么都没留下…
展开
-
dolphinscheduler配置之 master.properties/worker.properties及常见问题学习
我的电脑是 12核 32g 打印如下这个配置=-1是什么意思呢?默认-1 我们可以看到其实就为系统预留了3G内存,意思是给其他应用留点活路。以我们的机器为例 32G 12线程我们看下哪里用到了这两个参数 此时以服务器为例128G 32core/***/-- 前面的应该就是满cpu=32*2=64--这个是预留的=0.3 其实就是3G(我不知道dolphin为啥要/10)/**原创 2023-03-10 19:09:13 · 3816 阅读 · 0 评论 -
dolphinschedule使用shell任务结束状态研究
背景:配置的dolphin任务,使用的是shell,shell里包含了spark-submit 如下截图。dolphinshell介绍完毕,开始说明现象。有天有人调整了集群的cdp配置,executor-cores max=1我之前这里写的是2,所以spark任务就报错了不多说,后面改下这个配置就好了,spark任务就能运行起来。但是在这个过程中发现了一个很严重很严重的问题。这个任务失败了,报错了,但是dolphin显示状态居然是成功!!!!!!!!!!!!!!!!!!!原创 2023-03-08 16:06:51 · 2134 阅读 · 0 评论 -
dolphinSchedule和azkaban两者调度区别
https://blog.csdn.net/github_39577257/article/details/102783298这篇文章已经很详细了我具体说下使用过程中感受和区别1、haazkaban属于一个executor,多个worker,worker可以增加,但是增加的很麻烦需要重启executor然后还要激活workerdolphin才开始用,但是感觉他本身就是ha,一台挂了另外一台也可以用,azkabn中worker挂了没事,executor挂了就完了。2、存储资源dol原创 2020-07-06 18:16:48 · 7568 阅读 · 2 评论