海豚调度
海豚调度日常使用及踩坑
幻尘舞1
这个作者很懒,什么都没留下…
展开
-
海豚调度系统进阶-1
入门介绍中已经聊过海豚调度系统需要创建工作流,以已创建用户并授权为前提,我们需要先创建项目,然后进入项目中创建工作流。当工作流运行时会产生工作流实例,对应配置的任务节点也会产生任务实例,我们可以通过点击查看工作流实例去查看对应的任务实例,任务实例有查看日志功能,可以查看运行日志。当然会有特殊情况例如创建工作流实例未成功,工作流实例配置了任务节点串行时中间节点实例创建失败等等,这个时候就需要去查看对应服务器的日志,工作流运行的日志需要去master项目查看,任务节点运行的日志需要去worker项目查看。原创 2023-10-09 17:46:39 · 264 阅读 · 0 评论 -
海豚调度系统入门介绍
官网介绍--Apache DolphinScheduler是一个分布式和可扩展的开源工作流协调平台,具有强大的DAG可视化界面从我面对的使用场景来讲,主要是运用它的调度功能,海豚的功能模块很多,用户管理、项目管理、资源管理、告警管理、系统资源监控等等,但是其核心的功能是在项目管理里的工作流和任务节点管理,配置完工作流后可以选择手动触发或配置定时调度来运行任务。海豚的核心功能就是创建工作流,配置任务节点,然后上线运行。原创 2023-09-20 17:59:30 · 405 阅读 · 0 评论 -
海豚版本升级之hive的udf函数踩坑
这个问题是属于配置问题了,开启kerbros认证后我们直接执行sql加上kerbros认证可以执行,加上UDF函数后提示认证不通过,初次排查是因为执行引擎我们集群默认使用的是tez,修改为mr之后就可以执行,再进一步排查是海豚配置文件中的resource.hdfs.fs.defaultFS没有配置为大数据集群的域名导致,配置完重启后,完美解决!可以通过修改代码重新打包代码替换master项目中的对应jar包可以解决此问题。原创 2023-09-13 16:48:39 · 263 阅读 · 0 评论