第一篇 DolphinScheduler概念及特点

最新推荐文章于 2024-05-16 05:55:19 发布
最新推荐文章于 2024-05-16 05:55:19 发布
阅读量697 收藏
点赞数
分类专栏： dolphinscheduler 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37294838/article/details/126685288
版权

DolphinScheduler概念

Apache DolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。解决数据研发ETL 错综复杂的依赖关系，不能直观监控任务健康状态等问题。

DolphinScheduler以DAG流式的方式将Task组装起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作

DolphinScheduler特点

简单易用

DAG监控界面，所有流程定义都是可视化，通过拖拽任务定制DAG，通过API方式与第三方系统对接, 一键部署

高可靠性

去中心化的多Master和多Worker, 自身支持HA功能, 采用任务队列来避免过载，不会造成机器卡死

丰富的使用场景

支持暂停恢复操作.支持多租户，更好的应对大数据的使用场景. 支持更多的任务类型，如 spark, hive, mr, python, sub_process, shell

高扩展性

支持自定义任务类型，调度器使用分布式调度，调度能力随集群线性增长，Master和Worker支持动态上下线

ITBOY_ITBOX
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【DolphinScheduler】一文初步了解DolphinScheduler
Badme
06-19 3715
【DolphinScheduler】一文初步了解DolphinScheduler，参考自官方文档
Apache DolphinScheduler 诞生记
数据之路
08-03 3315
Apache DolphinScheduler 诞生记 DolphinScheduler，简称”DS”, 中文名 “小海豚调度”（海豚聪明、人性化，又左右脑可互相换班，终生不用睡觉）。希望 DolphinScheduler 就像它的名字一样，成为一个“开箱即用”的灵活易用的调度系统。 1概述 DAG 全称Directed Acyclic Graph，简称DAG。工作流中的Task任务以有向无环图的形式组装起来，从入度为零的节点进行拓扑遍历，直到无后继节点为止。 Apache DolphinScheduler
Dolphinscheduler 学习笔记
十二的博客
12-13 6825
Dolphinscheduler官网 https://dolphinscheduler.apache.org/ Dolphinscheduler下载地址 https://www.apache.org/dyn/closer.lua/dolphinscheduler/1.3.9/apache-dolphinscheduler-1.3.9-bin.tar.gz 一. DolphinScheduler简介 1.1 DolphinScheduler概述 Apache DolphinScheduler是一个分布式、
最新DolphinScheduler海豚调度教程_海豚调度使用说明，2024年最新2024年百度大数据开发面试真题
最新发布
2401_84186026的博客
05-16 1262
dolphinscheduler-alert 告警模块，提供 AlertServer 服务。dolphinscheduler-api web应用模块，提供 ApiServer 服务。dolphinscheduler-common 通用的常量枚举、工具类、数据结构或者基类dolphinscheduler-dao 提供数据库访问等操作。dolphinscheduler-remote 基于 netty 的客户端、服务端。
DolphinScheduler大数据调度系统
Im ok的博客哦
06-30 1万+
一、背景 在2017年，易观在运营自己6.8Pb大小、6.02亿月活、每天近万个调度任务的大数据平台时，受到ETL复杂的依赖关系、平台易用性、可维护性及二次开发等方面掣肘，易观的技术团队渴望找到一个具有以下功能的数据调度工具： 易于使用，开发人员可以通过非常简单的拖拽操作构建ETL过程。不仅对于ETL开发人员，无法编写代码的人也可以使用此工具进行ETL操作，例如系统管理员和分析师; 解决“复杂任务依赖”问题，并且可以实时监视ETL运行状态; 支持多租户; 支持许多任务类型：Shell，MR，Spa
深入了解海豚调度DolphinScheduler
男神的专栏
05-31 3972
容错后处理：ZooKeeper Master容错完成之后则重新由DolphinScheduler中Scheduler线程调度，遍历 DAG 找到”正在运行”和“提交成功”的任务，对”正在运行”的任务监控其任务实例的状态，对”提交成功”的任务需要判断Task Queue中是否已经存在，如果存在则同样监控任务实例的状态，如果不存在则重新提交任务实例。在这种架构下，集群中的管理者是被动态选择出来的，而不是预置的，并且集群在发生故障的时候，集群的节点会自发的举行"会议"来选举新的"管理者"去主持工作。
工作流调度系统Apache DolphinScheduler介绍和设计原理
热门推荐
Baron_ND的博客
09-02 1万+
1 概述 Apache DolphinScheduler（目前处在孵化阶段）是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统，其致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 DolphinScheduler是今年（2019年）中国易观公司开源的一个调度系统，在今年美国时间2019年8月29号，易观开源的分布式任务调度引擎DolphinScheduler（原EasyScheduler）正式通过顶级开源组织Apache基金会的投票决议，根据Apache基金会
dolphinscheduler配置
07-13
DolphinScheduler是一款强大的分布式工作流调度系统，用于大数据处理任务的编排和管理。在这个配置过程中，我们将探讨如何将Dolphinscheduler与Hadoop、Spark、Hive、DataX、Python和Scala集成，以实现高效的数据...
apache-dolphinscheduler-3.1.4-bin
02-20
Apache DolphinScheduler是一款强大的分布式工作流管理系统，用于大数据任务的工作流编排和调度。它提供了图形化的工作流设计界面，使得用户可以方便地构建复杂的任务流程。在这个“apache-dolphinscheduler-3.1.4-...
DolphinScheduler+海豚
03-04
DolphinScheduler+海豚
dolphinscheduler工作流模板
07-06
Dolphinscheduler是一款强大的工作流调度系统，尤其在大数据处理领域，它以其直观的图形化界面、丰富的任务类型以及强大的协同能力，为数据工程师提供了高效的工作流程管理工具。在本文中，我们将探讨如何利用...
k8s部署dolphinscheduler3.1.2 踩坑记录
07-13
k8s部署dolphinscheduler 踩坑记录3.1.2，全流程
DolphinScheduler的详细介绍以及使用
qq_42588609的博客
05-05 996
DolphinScheduler支持多种任务类型，包括Hadoop、Spark、Flink、Hive、Python、Shell等，同时还提供了丰富的调度策略和监控功能，可以满足各种复杂的调度需求。多种任务类型：DolphinScheduler支持多种任务类型，包括Hadoop、Spark、Flink、Hive、Python、Shell等，可以满足各种数据处理需求。丰富的调度策略：DolphinScheduler提供了多种调度策略，包括定时调度、依赖调度、手动调度等，可以满足各种复杂的调度需求。
【大数据进阶第三阶段之DolphinScheduler学习笔记】深度解析DolphinScheduler(海豚调度)
一个老码农
01-11 1687
Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。
DolphinScheduler×集度 | DolphinScheduler 灵活调度新能源汽车多样化业务场景
Apache DolphinScheduler开源社区
05-04 376
点击蓝字 关注我们用户案例 | 集度汽车集度大数据集成平台日累计离线调度任务量2w+，既要满足高并发分发任务也要满足多种任务类型，为了保障数据的准确性和及时性，集度选择Apache DolphinScheduler作为核心调度系统，在此基础上也做了二次的开发，形成一整套体系，包含元数据管理、血缘地图、数据集成、数据质量管理、Ad-Hoc等，从而降低了使用数据的成本。01业务挑战集度的数据处理涉及到...
DolphinScheduler3.1简介、部署、功能介绍以及架构设计
wt334502157的博客
11-20 7649
Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。
大数据调度系统为什么选型Apache DolphinScheduler ?
张伯毅的专栏
02-24 1万+
Apache DolphinScheduler 于 17 年在易观数科立项， 19 年 3 月开源，8 月进入 Apache 孵化器， 已累计有 400+ 公司在生产上使用。DolphinScheduler 致力于“解决大数据任务之间错综复杂的依赖关系，使整个数据处理流程直观可见”。DolphinScheduler 以 DAG(有向无环图) 的方式将任务连接起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及 Kill任务等操作 .一 .背景二 .定位三 .案例3.1. 易观千帆3.
DOLPHINSCHEDULER_OPTS含义
03-06
DOLPHINSCHEDULER_OPTS是DolphinScheduler的一个环境变量，用于配置DolphinScheduler的运行参数和选项。它可以通过设置该环境变量来修改DolphinScheduler的行为和性能。 具体来说，DOLPHINSCHEDULER_OPTS可以用于...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值