作者:黄立,长安汽车
Apache Dolphin Scheduler
组件介绍
分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
官网 : https://dolphinscheduler.apache.org/en-us/
Github : https://github.com/apache/incubator-dolphinscheduler
部署环境
- CDH测试环境
- 6台机器
- 网关节点部署worker
- CM节点部署master和监控web
- 网关节点上已经部署hive&spark网关
- 平台版本
- CDH5.16.2
- Dolphin Scheduler 1.2.0
- 基础软件
- PostgreSQL或MySql存储元数据
前端部署
安装包下载
https://dolphinscheduler.apache.org/en-us/docs/release/download.html
- 创建部署文件夹/opt/ds,上传tar包到该目录中,并进行解压
# create deploy dir
mkdir -p /opt/ds/ds-ui;
# decompression
tar -zxvf apache-dolphinscheduler-incubating-1.2.1-SNAPSHOT-dolphinscheduler-front-bin.tar.gz -C /opt/ds/;
mv apache-dolphinscheduler-incubating-1.2.1-SNAPSHOT-dolphinscheduler-front-bin ds-1.2.0-ui;
选择自动化部署
- 检