alibaba开源Zeus源码解读
凌霄~
every morning you have two choices, continue to sleep with your dreams or wake up and chase them
展开
-
Zeus源码剖析之Zeus的启动过程
Zeus源码剖析之Zeus的启动过程Zeus启动流程图涉及核心类如下: Zeus启动步骤详解Zeus也是基于Spring的分布式Hadoop作业调度系统,我们可以从Zeus系统中的Spring配置文件中抽丝剥茧,逐步分析Zeus的启动过程。首先,我们先看一下Zeus的applicationContext.xml都有那些信息:<?xml version="1.0" encoding="UTF-8"原创 2017-10-29 01:07:54 · 6268 阅读 · 0 评论 -
阿里开源Zeus概述
阿里开源Zeus概述1. 什么是宙斯(Zeus)宙斯是阿里巴巴开源的一款分布式Hadoop作业调度平台,支持多机器的水平扩展。Zeus是一款完全分布式的调度系统,,支持多机器的水平扩展,一台机器为一个节点,由master节点分发任务至不同的worker,实现任务的分布式调度。目前支持的任务类型主要由hive脚本和shell脚本。Zeus不仅仅可以执行独立任务调度,还支持任务之间依赖调度。这就使得ze原创 2017-10-28 22:43:49 · 12510 阅读 · 0 评论 -
Zeus源码剖析之事件处理机制
Zeus的事件处理机制中对观察着模式的应用可以说是用到了极致,因此在分析解读zeus中的事件处理机制之前,我们先简单的脑补一下观察者设计模式。观察者设计模式,简单来说,就是一个对象观察另一个对象,当被观察的对象发生变化时,观察者也会跟着变化。 观察者模式举一个简单的例子,老鹰抓小鸡的游戏,package designPatterns.observer.eagle;/** * @time 2017/原创 2017-11-02 00:01:34 · 1218 阅读 · 0 评论 -
Zeus源码解读之定时任务执行与手动执行任务的过程分析
Zeus源码解读之定时任务执行与手动执行任务的过程分析zeus集群依赖任务执行模式 宙斯中任务出去任务独立调度之外,支持任务直接的复杂依赖调度,如下图一所示: 图1 A为根任务,B,C依赖A任务,D任务依赖B,C,只有当A执行成功之后,B,C才会执行,只有B,C都执行成功之后,D任务才会执行,C执行失败的情况,D就不会执行。zeus集群依赖任务DAG执行过程源码解读 Zeus的定时调度任务利原创 2017-11-06 16:41:14 · 1974 阅读 · 0 评论 -
hera(赫拉)任务调度系统--为数据平台打造的任务调度系统
hera(赫拉)任务调度系统–为数据平台打造的任务调度系统hera项目背景 在大数据部门,随着业务发展,每天承载着成千上万的ETL任务调度,这些任务集中在hive,shell脚本调度。怎么样让大量的ETL任务准确的完成调度而不出现问题,甚至在任务调度执行中出现错误的情况下,任务能够完成自我恢复甚至执行错误告警与完整的日志查询。hera任务调度系统就是在这种背景下衍生的一款分布式调度...原创 2019-05-08 14:46:07 · 12709 阅读 · 5 评论