Hadoop 开源调度系统zeus

原创 2016年08月29日 13:32:08

https://github.com/alibaba/zeus

对海量数据进行处理时,目前大部分公司都采用Hadoop来对数据进行离线处理,但是由于业务场景,经常一个MR或者Hive或者其他形式的任务无法直接完成业务需要,需要任务之间按照特定关系来执行(任务流),例如任务1执行完成之后,才能执行任务2、任务2执行完成之后才能执行任务3和4,在这种情况下需要一套调度系统把各个任务之间的依赖关系串联起来,

目前来说,有很多开源的系统,最著名的应该算是Apache的Oozie,这里主要给大家介绍一下阿里开源的一个优秀的调度系统Zeus,GitHub地址:http://github.com/alibaba/zeus,该调度系统是想比较Oozie主要存在如下优点:

1、友好的界面显示、全中文,配置简单,Oozie的配置依赖XML文件,但是Zeus可以直接在界面配置

2、开发中心、调度中心功能完备,不仅可以在上面正式调度任务、还可以在上面进行任务开发

3、支持MR、Hive、Shell等多种任务

4、Zeus支持单机和分布式、在分布式场景下,整个集群自动切换主备,无需人工干预

5、任务失败晚上的告警方案

但是该调度系统只支持Hadoop1,且存在一些BUG,不过好消息是本人意见将其进行了二次开发,且支持Hadoop2,并且对其功能进行了增强,更好的消息是,本人已经将其开源贡献出来,GitHub地址如下:https://github.com/michael8335/zeus2

版权声明:本文为博主原创文章,未经博主允许不得转载。

阿里调度系统zeus 安装使用

1、下载携程修改的zeus源码 git clone https://github.com/ctripcorp/dataworks-zeus.git 2、编译源码 进入工程目录,  编译成eclipse...
  • huguoping830623
  • huguoping830623
  • 2016年05月09日 10:02
  • 4814

Zeus资源调度系统介绍

摘要: 本文主要概述阿里巴巴Zeus资源调度系统的背景和实现思路。 本文主线:问题、解决方案、依赖基础知识、工程实践、目标、经验分享。立足企业真实问题、常规解决策略,引出依赖的容器技术、实践方案,所有...
  • iie_libi
  • iie_libi
  • 2017年05月10日 21:58
  • 1499

Hadoop 开源调度系统zeus(一)

大数据分析中,经常使用Hadoop来做离线
  • yangfei001
  • yangfei001
  • 2014年05月23日 20:44
  • 4686

zeus任务调度系统搭建

zeus版本 https://github.com/ctripcorp/dataworks-zeus 主要配置步骤参见 https://github.com/alibaba/zeus...
  • huguoping830623
  • huguoping830623
  • 2017年01月19日 15:51
  • 1235

zeus作业平台在hadoop2.x中的安装部署

前期工作:1、hadoop 2.7.3安装。 2、hive 2.1.1安装。 3、java 1.7安装。 4、mysql安装。 5、maven 3.3.9安装。 6、tomcat 7.0安装...
  • u013623958
  • u013623958
  • 2017年04月04日 15:27
  • 1189

淘宝Hadoop作业平台宙斯(zeus)开源

https://github.com/alibaba/zeus 宙斯(zeus)是什么 宙斯是一个完整的Hadoop的作业平台 从Hadoop任务的调试运行到生产任务...
  • zeng_84_long
  • zeng_84_long
  • 2013年05月04日 10:27
  • 2056

Zeus资源调度系统介绍

摘要: 本文主要概述阿里巴巴Zeus资源调度系统的背景和实现思路。 本文主线:问题、解决方案、依赖基础知识、工程实践、目标、经验分享。立足企业真实问题、常规解决策略,引出依赖的容器技术、实践方案,所有...
  • yangbosos
  • yangbosos
  • 2018年02月06日 19:07
  • 19

zues

前言 源码依赖 https://github.com/ctripcorp/dataworks-zeus.git 在web项目加入两套Filter配置 测试环境...
  • huguoping830623
  • huguoping830623
  • 2017年01月19日 15:50
  • 517

浅谈工作流调度系统

浅谈工作流调度系统 http://ju.outofmemory.cn/entry/221885 每个公司都有自己的一套或者多套调度系统,从简单到复杂,满足各种定制化...
  • hsg77
  • hsg77
  • 2016年11月30日 15:45
  • 2505

阿里开源Zeus概述

阿里开源Zeus概述1. 什么是宙斯(Zeus)宙斯是阿里巴巴开源的一款分布式Hadoop作业调度平台,支持多机器的水平扩展。Zeus是一款完全分布式的调度系统,,支持多机器的水平扩展,一台机器为一个...
  • Pengjx2014
  • Pengjx2014
  • 2017年10月28日 22:43
  • 635
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop 开源调度系统zeus
举报原因:
原因补充:

(最多只允许输入30个字)