Hadoop 开源调度系统zeus

原创 2016年08月29日 13:32:08

https://github.com/alibaba/zeus

对海量数据进行处理时,目前大部分公司都采用Hadoop来对数据进行离线处理,但是由于业务场景,经常一个MR或者Hive或者其他形式的任务无法直接完成业务需要,需要任务之间按照特定关系来执行(任务流),例如任务1执行完成之后,才能执行任务2、任务2执行完成之后才能执行任务3和4,在这种情况下需要一套调度系统把各个任务之间的依赖关系串联起来,

目前来说,有很多开源的系统,最著名的应该算是Apache的Oozie,这里主要给大家介绍一下阿里开源的一个优秀的调度系统Zeus,GitHub地址:http://github.com/alibaba/zeus,该调度系统是想比较Oozie主要存在如下优点:

1、友好的界面显示、全中文,配置简单,Oozie的配置依赖XML文件,但是Zeus可以直接在界面配置

2、开发中心、调度中心功能完备,不仅可以在上面正式调度任务、还可以在上面进行任务开发

3、支持MR、Hive、Shell等多种任务

4、Zeus支持单机和分布式、在分布式场景下,整个集群自动切换主备,无需人工干预

5、任务失败晚上的告警方案

但是该调度系统只支持Hadoop1,且存在一些BUG,不过好消息是本人意见将其进行了二次开发,且支持Hadoop2,并且对其功能进行了增强,更好的消息是,本人已经将其开源贡献出来,GitHub地址如下:https://github.com/michael8335/zeus2

版权声明:本文为博主原创文章,未经博主允许不得转载。

zeus作业平台在hadoop2.x中的安装部署

前期工作:1、hadoop 2.7.3安装。 2、hive 2.1.1安装。 3、java 1.7安装。 4、mysql安装。 5、maven 3.3.9安装。 6、tomcat 7.0安装...

淘宝Hadoop作业平台宙斯(zeus)开源

https://github.com/alibaba/zeus 宙斯(zeus)是什么 宙斯是一个完整的Hadoop的作业平台 从Hadoop任务的调试运行到生产任务...

阿里调度系统zeus 安装使用

1、下载携程修改的zeus源码 git clone https://github.com/ctripcorp/dataworks-zeus.git 2、编译源码 进入工程目录,  编译成eclipse...

Zeus资源调度系统介绍

摘要: 本文主要概述阿里巴巴Zeus资源调度系统的背景和实现思路。 本文主线:问题、解决方案、依赖基础知识、工程实践、目标、经验分享。立足企业真实问题、常规解决策略,引出依赖的容器技术、实践方案,所有...

zeus任务调度系统搭建

zeus版本 https://github.com/ctripcorp/dataworks-zeus 主要配置步骤参见 https://github.com/alibaba/zeus...

这些优秀的国产分布式任务调度系统,你用过几个?

OSC开源社区 2017-04-21 11:27 分布式调度在互联网企业中占据着十分重要的作用,尤其是电子商务领域,由于存在数据量大、高并发的特点,对数据处理...

分布式开源调度框架TBSchedule原理与应用

第一部分 TBSchedule基本概念及原理 1. 概念介绍 2. 工作原理 3. 源码分析 4. 与其他开源调度框架对比 第二部分 TBSchedule分布式调度示例 1. TBSchedule源...

数据平台作业调度系统详解-实践篇

上一篇文章,讨论了作业调度系统的分类,流派,架构实现方案和各种方案的优缺点以及适用场景,最后还简单总结了理想中,一个完备的工作流作业调度系统,应该具备哪些功能特性。但是,纸上得来终觉浅,绝知此事要躬行...

阿里开源Zeus概述

阿里开源Zeus概述1. 什么是宙斯(Zeus)宙斯是阿里巴巴开源的一款分布式Hadoop作业调度平台,支持多机器的水平扩展。Zeus是一款完全分布式的调度系统,,支持多机器的水平扩展,一台机器为一个...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop 开源调度系统zeus
举报原因:
原因补充:

(最多只允许输入30个字)