如何在CDH5.16.2中部署海豚调度器Apache Dolphin Scheduler 1.2.0

Apache Dolphin Scheduler

组件介绍

分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

官网 : https://dolphinscheduler.apache.org/en-us/

Github : https://github.com/apache/incubator-dolphinscheduler

部署环境

• CDH测试环境
  • 6台机器
  • 网关节点部署worker
  • CM节点部署master和监控web
  • 网关节点上已经部署hive&spark网关
• 平台版本
  • CDH5.16.2
  • Dolphin Scheduler 1.2.0
• 基础软件
  • PostgreSQL或MySql存储元数据

前端部署

安装包下载

https://dolphinscheduler.apache.org/en-us/docs/release/download.html

• 创建部署文件夹/opt/ds，上传tar包到该目录中，并进行解压

# create deploy dir
mkdir -p /opt/ds/ds-ui;
# decompression
tar -zxvf apache-dolphinscheduler-incubating-1.2.1-SNAPSHOT-dolphinscheduler-front-bin.tar.gz -C /opt/ds/;
mv apache-dolphinscheduler-incubating-1.2.1-SNAPSHOT-dolphinscheduler-front-bin ds-1.2.0-ui;

选择自动化部署

• 检查yum源，这里是开发环境，外网需要使用代理，需要安装nginx
• 进入ds-1.2.0-ui目录，执行install-dolphinscheduler-ui.sh安装脚本
• 修改前端端口为：8886，防止与Hue端口冲突
• 修改api-server的ip
• 修改api-server端口
• 选择centos7安装

<