四种工作流的比较

转载 2012年03月23日 15:51:52
HamakeComparisonWithOtherWorkflowEngines  

Phase-Support
Updated Jun 6, 2010 by vorl.s...@gmail.com

The table below attempts to compare Hamake and similar workflow engines for Hadoop (Oozie, Azkaban, Cascading) based on some key features. Although all of these systems could be used to solve similar problems, they differ significantly in design, philosophy, target user profile, usage scenarios, etc. So our feature-wise comparison is in no way conclusive. Please use it as a guideline, but read respective systems documentation to understand better which one is more suitable for your problem.

Feature Hamake Oozie Azkaban Cascading
workflow discription language XML XML (xPDL based) text file with key/value pairs Java API
dependencies mechanism data-driven explicit explicit explicit
requires Servlet/JSP container No Yes Yes No
allows to track a workflow progress console/log messages web page web page Java API
ability to schedule a Hadoop job execution at given time no yes yes yes
execution model command line utility daemon daemon API
allows to run Pig Latin scripts yes yes yes yes
event notification no no no yes
requires installation no yes yes no
supported Hadoop version 0.18+ 0.20+ currently unknown 0.18+
retries no at workflow node level yes yes
ability to run arbitrary commands yes yes yes yes
can be run on Amazon EMR yes no currently unknown yes

From FAQ:

What is the difference between Hamake and Cascading?

In short: Cascading is an API, while 'hamake' is an utility. Some differences:

  • hamake does not require any custom programming. It helps to automate running your existing Hadoop tasks and PIG scripts
  • We found hamake especially suitable for incremental processing of datasets
  • You can use 'hamake' to automate tasks written in other languages, for example using Hadoop streaming

How Hamake differs from Oozie and Azkaban?

Oozie and Azkaban are server-side systems that have to be installed and run as a service. Hamake is a lightweight client-side utility that does not require installation and has very simple syntax for workflow definition. Most importantly, Hamake is built based on dataflow programming principles - your Hadoop tasks execution sequence is controlled by the data. 

相关文章推荐

Oozie和Azkaban的技术选型和对比

源码角度分析Oozie和Azkaban的优劣
  • gaoqida
  • gaoqida
  • 2016年08月09日 18:29
  • 5979

Oozie 大致概览

Oozie调研 在作业设计器中,实用哪种作业工作流的引擎是最主要的,现在对Oozie进行调研。 一.Oozie介绍 Oozie是一种工作流引擎,用于运行MR,Spark Job(有待测试),Pig等任...
  • gaoqida
  • gaoqida
  • 2016年08月07日 15:38
  • 746

工作流调度系统介绍,常见工作流调度系统对比,azkaban与Oozie对比,Azkaban介绍与特性(来自学习笔记)

1. 工作流调度器azkaban1.1 概述1.1.1为什么需要工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成:shell脚本程序,java程序,mapreduce程序、hive脚本等...

三大工作流引擎对比

1.从《功夫》说起 时下的新新人类看到我,一定会认为在下是个十足的老古董,这不,《功夫》这样的片子我到今年2月底才看。不过看过《功夫》,我想的一定比一般的人多:周星星浪迹江湖,和他胖子大哥出去敲竹...
  • 1950
  • 1950
  • 2011年12月31日 17:30
  • 2760

Java开源工作流比较-2

【dice_com】: 工作流系统最好不要碰,很容易陷进去出不来。 Adobe,IBM,等大公司都有自己的工作流系统,我也都研究过,都作的很好,功能与架构都是类似的,但这些大公司在中国市场都找不到...
  • 1950
  • 1950
  • 2011年12月31日 17:37
  • 3454

Azkaban调研

Azkaban调研 在作业设计器中,实用哪种作业工作流的引擎是最主要的,现在对Azkaban和Oozie进行调研。 一.Azkaban介绍 Azkaban是一个类似于Oozie的任务调度系统,它...
  • gaoqida
  • gaoqida
  • 2016年08月07日 15:36
  • 1609

四种常见 Git 工作流比较

多种多样的工作流使得在项目中实施Git时变得难以选择。这份教程提供了一个出发点,调查企业团队最常见的Git工作流。 阅读的时候,请记住工作流应该是一种规范而不是金科玉律。我们希望向你展示所有工作流,...

工作流Activiti的学习总结- 整合比较复杂的一个流程

这会部长可以驳回员工的请假申请,用户要调整,主任也可以驳回员工的申请 调整申请表这个任务的user:${applyuser} 加入判断的变量 刚开始也是模拟提交一...

Java开源工作流比较

Java开源工作流比较 分类: 工作流 2011-12-31 17:32 1316人阅读 评论(0) 收藏 举报     1.大多数的工作流引擎并不能实现全部的接口,而且每个...
  • lionzl
  • lionzl
  • 2012年10月14日 09:56
  • 569

Activiti5 工作流的Helloworld的感悟(比较详细)

Activiti5,相信做过OA系统的对它不陌生。这次Activiti使用的版本是5.15,具体如何安装请参考:《Activiti5.16用户手册》----12. Eclipse Designer(安...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:四种工作流的比较
举报原因:
原因补充:

(最多只允许输入30个字)