一、软件简介
分布式易扩展的可视化工作流任务调度平台
Apache DolphinScheduler(incubator) 于17年在易观数科立项,19年3月开源, 19 年8月进入Apache 孵化器。
Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
整体架构
二、安装部署
支持单机,集群,docker,kubernetes,skywalking-agent 部署。本文给予1.3.6版本总结的一些集群部署的经验。
2.1 安装必要的组件
-
PostgreSQL (8.2.15+) or MySQL (5.7系列):两者任选其一即可,如 MySQL 则需要 JDBC Driver 5.1.47+ (存储调度dag信息,配置等)
-
JDK (1.8+):必装,请安装好后在 /etc/profile 下配置 JAVA_HOME 及 PATH 变量
-
ZooKeeper (3.4.6+):必装
-
Hadoop (2.6+) or MinIO:选装,如果需要用到资源上传功能,可以选择上传到 Hadoop or MinIO 上
注意:DolphinScheduler本身不依赖 Hadoop、Hive、Spark,仅是会调用他们的 Client,用于提交对应的任务。
这些组件执行任务所需要的依赖与调度并没有关联,需要在组件的lib中自行添加,如jdbc组件,在DS的lib中放置JDBC Driver 5.1.47+ 仅供调度自身与数据库交互用,hive、saprk等组件需要根据自己任务需要在各自依赖下放置对应的jdbc驱动包。
2.2 安装具体步骤
2.2.1
下载解压
创建部署目录,部署目录请不要创建在 /root、/home 等高权限目录
mkdir -p /opt/dolphinscheduler
cd /opt/dolphinscheduler
# 解压缩
tar -zxvf apache-dolphinscheduler-1.3.6-bin.tar.gz -C /opt/dolphinscheduler
mv apache-dolphinscheduler-1.3.6-bin dolphinscheduler-bin
注意:这个解压目录并非最终软件的安装目录,而是一个初始化文件目录,之后安装会将这个目录的所有配置以及依赖分发到安装节点服务器。具体的安装目录与节点服务器需要另外配置,将在下文中介绍。
2.2.2 创建部署用户,与hosts映射
在
所有部署调度的机器上创建部署用户,并且一定要
配置 sudo 免密。假如我们计划在 ds1,ds2,ds3,ds4 这 4 台机器上部署调度,首先需要在每台机器上都创建部署用户
(部署用户要有免密sudo 的权限这点很重要,是实现多租户的必要配置)
# 创建用户需使用root登录,设置部署用户名,请自行修改,后面以 dolphinscheduler 为例
useradd dolphinscheduler
# 设置用户密码,请自行修改,后面以 dolphinscheduler123 为例
echo "dolphinscheduler123" | passwd --stdin dolphinscheduler
# 配置 sudo 免密
echo 'dolphinscheduler ALL=(ALL) NOPASSWD: NOPASSWD: ALL' >> /etc/sudoers
sed -i 's/Defaults requirett/#Defaults requirett/g' /etc/sudoers
注意:
-
因为是以 sudo -u {linux-user} 切换不同 linux 用户的方式来实现多租户运行作业,所以部署用户需要有 sudo 权限,而且是免密的。
-
如果发现 /etc/sudoers 文件中有 "Default requiretty" 这行,也请注释掉
-
如果用到资源上传的话,还需要在 HDFS或者MinIO 上给该部署用户分配读写的权限
2.2.3 ssh打通以及修改目录权限,
配置hosts
2.2.3.1 配置hosts映射,也可以不配置而直接使用ip
vi /etc/hosts
# add ip hostname
192.168.xxx.xxx ds1
192.168.xxx.xxx ds2
192.168.xxx.xxx ds3
192.168.xxx.xxx ds4
同步hosts配置到所有的节点服务器
for ip in ds2 ds3; # 请将此处 ds2 ds3 替换为自己要部署的机器的 hostn