集群搭建系列（十七）dolphinscheduler 小海豚调度

最新推荐文章于 2024-08-14 15:41:16 发布

装B五分钟，挨打两小时

最新推荐文章于 2024-08-14 15:41:16 发布

阅读量4.9k

点赞数 10

分类专栏：集群搭建文章标签： hadoop 调度 dolphin Scheduler 小海豚

那些你很早爬起来努力的时光，那些你熬夜训练的日子，那些你觉得太累了不想努力并强迫自己但仍咬牙坚持的时光，那才是追寻梦想的意义，那就是梦想力量。但是真正的梦想不是到达终点，而是享受旅途。如果你们能够理解这个道理。你会发现，在努力的过程中。你的梦想或许会实现，或许不会。但总有一些更伟大的事情会随之而来。

本文链接：https://blog.csdn.net/cs261244787/article/details/117987373

版权

本文介绍了国产调度工具Dolphinscheduler的搭建过程，对比了其与Azkaban的优点，并提供了详细的安装步骤，包括数据库配置、脚本执行、环境设置和系统登录。适合需要解决大数据调度问题的读者。

摘要由CSDN通过智能技术生成

国产牛逼系列 dolphinscheduler

文章目录

国产牛逼系列 dolphinscheduler

1 调度工具对比

以往使用 azkaban 虽然并发够，但是面临运维问题也很大。
1 大半夜调度任务挂了，酸爽了，半夜调度的同学起来手工调度。恶心的不行。日志需要配置收集、配置显示错误、配置3次重试。等等等。当任务达到上千个时候，web 都恶心的不行（大数据中心对接十几个数据部门，还有乱用的在 azkaban 上读写日志的）
2 大半夜调度程序挂了（太多任务、太多线程资源占用），azkaban 没办法自动重启，只能手动注册 exec。

在这里插入图片描述

话不多说直接开干

安装包部分

老规矩为防止网不好的同学下载不了， 1 积分提供下载。

mysql-connector-java-5.1.47.jar // 该文件放入 lib 下

下载地址：https://download.csdn.net/download/cs261244787/19698451
在这里插入图片描述

apache-dolphinscheduler-incubating-1.3.4-dolphinscheduler-bin.tar.gz

下载地址：https://download.csdn.net/download/cs261244787/19698494

mysql 5.7

基础搭建

CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO ‘dolphinscheduler’@’%’ IDENTIFIED BY ‘rockDophinScheduler’;
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO ‘dolphinscheduler’@‘localhost’ IDENTIFIED BY ‘rockDophinScheduler’;
flush privile