新一代调度系统Dolphinscheduler的部署和简单使用总结

一、软件简介

分布式易扩展的可视化工作流任务调度平台

Apache DolphinScheduler(incubator) 于17年在易观数科立项,19年3月开源, 19 年8月进入Apache 孵化器。

Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。

整体架构

二、安装部署

    支持单机,集群,docker,kubernetes,skywalking-agent 部署。本文给予1.3.6版本总结的一些集群部署的经验。

2.1 安装必要的组件
  • PostgreSQL (8.2.15+) or MySQL (5.7系列):两者任选其一即可,如 MySQL 则需要 JDBC Driver 5.1.47+  (存储调度dag信息,配置等)
  • JDK (1.8+):必装,请安装好后在 /etc/profile 下配置 JAVA_HOME 及 PATH 变量
  • ZooKeeper (3.4.6+):必装
  • Hadoop (2.6+) or MinIO:选装,如果需要用到资源上传功能,可以选择上传到 Hadoop or MinIO 上
     注意:DolphinScheduler本身不依赖 Hadoop、Hive、Spark,仅是会调用他们的 Client,用于提交对应的任务。 
    这些组件执行任务所需要的依赖与调度并没有关联,需要在组件的lib中自行添加,如jdbc组件,在DS的lib中放置JDBC Driver 5.1.47+  仅供调度自身与数据库交互用,hive、saprk等组件需要根据自己任务需要在各自依赖下放置对应的jdbc驱动包。
  2.2 安装具体步骤
     2.2.1 下载解压
创建部署目录,部署目录请不要创建在 /root、/home 等高权限目录
mkdir -p /opt/dolphinscheduler
cd /opt/dolphinscheduler

# 解压缩
tar -zxvf apache-dolphinscheduler-1.3.6-bin.tar.gz -C /opt/dolphinscheduler

mv apache-dolphinscheduler-1.3.6-bin  dolphinscheduler-bin
注意:这个解压目录并非最终软件的安装目录,而是一个初始化文件目录,之后安装会将这个目录的所有配置以及依赖分发到安装节点服务器。具体的安装目录与节点服务器需要另外配置,将在下文中介绍。
     2.2.2 创建部署用户,与hosts映射
所有部署调度的机器上创建部署用户,并且一定要 配置 sudo 免密。假如我们计划在 ds1,ds2,ds3,ds4 这 4 台机器上部署调度,首先需要在每台机器上都创建部署用户 (部署用户要有免密sudo 的权限这点很重要,是实现多租户的必要配置)
# 创建用户需使用root登录,设置部署用户名,请自行修改,后面以 dolphinscheduler 为例
useradd dolphinscheduler

# 设置用户密码,请自行修改,后面以 dolphinscheduler123 为例
echo "dolphinscheduler123" | passwd --stdin dolphinscheduler

# 配置 sudo 免密
echo 'dolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' >> /etc/sudoers
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers
注意:
  • 因为是以 sudo -u {linux-user} 切换不同 linux 用户的方式来实现多租户运行作业,所以部署用户需要有 sudo 权限,而且是免密的。
  • 如果发现 /etc/sudoers 文件中有 "Default requiretty" 这行,也请注释掉
  • 如果用到资源上传的话,还需要在 HDFS或者MinIO 上给该部署用户分配读写的权限
2.2.3 ssh打通以及修改目录权限, 配置hosts
2.2.3.1 配置hosts映射,也可以不配置而直接使用ip
vi /etc/hosts

# add ip hostname
192.168.xxx.xxx ds1
192.168.xxx.xxx ds2
192.168.xxx.xxx ds3
192.1
  • 0
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Apache DolphinScheduler是一个新一代分布式大数据工作流任务调度系统,致力于“解决大数据任务之间错综复杂的依赖关系,整个数据处理开箱即用”。它以 DAG(有向无环图) 的方式将任务连接起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及 Kill任务等操作。目前已经有像IBM、腾讯、美团、360等400多家公司生产上使用。 调度系统现在市面上的调度系统那么多,比如老牌的Airflow, Oozie,Kettle,xxl-job ,Spring Batch等等, 为什么要选DolphinSchedulerDolphinScheduler 的定位是大数据工作流调度。通过把大数据和工作流做了重点标注. 从而可以知道DolphinScheduler的定位是针对于大数据体系。 DolphinScheduler是非常强大的大数据调度工具,有以下一些特点:1、通过拖拽以DAG 图的方式将 Task 按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态;2、支持丰富的任务类型;3、支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill 任务等操作;4、支持工作流全局参数及节点自定义参数设置;5、支持集群HA,通过 Zookeeper实现 Master 集群和 Worker 集群去中心化;6、支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计;7、支持补数,并行或串行回填数据。课程会带大家构建DolphinScheduler大数据调度平台,实战讲解多种任务调度配置,会基于案例讲解DolphinScheduler使用,让大家在实战中掌握DolphinScheduler。 DolphinScheduler 发展很快 很多公司调度都切换到了DolphinScheduler,掌握DolphinScheduler调度使用势在必行,抓住新技术机遇,为跳巢涨薪做好准备。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值