azkaban
文章平均质量分 64
奔跑-起点
这个作者很懒,什么都没留下…
展开
-
hadoop 集群调度 Azkaban2搭建
注:这里的服务器由于用到SSL,需要https协议,别打成 http 安装配置:-----https://github.com/bbaiggey/AzkabanInstall 介绍 Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系,并提供一个易于使用的web原创 2016-03-01 20:51:22 · 2695 阅读 · 2 评论 -
azkaban的最简版搭建
官网:http://azkaban.github.io/ 1、下载安装包 azkaban-web-server-2.5.0.tar.gz azkaban-executor-server-2.5.0.tar.gz 2、创建一个名字为azkaban的文件夹,解压缩以上两个文件到azkaban目录 3、重命名以上解压之后的文件夹 webserver和executor 4、配置webs原创 2016-03-03 16:41:16 · 1931 阅读 · 0 评论 -
Hadoop 开源调度系统zeus
https://github.com/alibaba/zeus 对海量数据进行处理时,目前大部分公司都采用Hadoop来对数据进行离线处理,但是由于业务场景,经常一个MR或者Hive或者其他形式的任务无法直接完成业务需要,需要任务之间按照特定关系来执行(任务流),例如任务1执行完成之后,才能执行任务2、任务2执行完成之后才能执行任务3和4,在这种情况下需要一套调度系统把各个任务之间的依赖原创 2016-08-29 13:32:08 · 4198 阅读 · 0 评论