四种工作流的比较

转载 2012年03月23日 15:51:52
HamakeComparisonWithOtherWorkflowEngines  

Phase-Support
Updated Jun 6, 2010 by vorl.s...@gmail.com

The table below attempts to compare Hamake and similar workflow engines for Hadoop (Oozie, Azkaban, Cascading) based on some key features. Although all of these systems could be used to solve similar problems, they differ significantly in design, philosophy, target user profile, usage scenarios, etc. So our feature-wise comparison is in no way conclusive. Please use it as a guideline, but read respective systems documentation to understand better which one is more suitable for your problem.

Feature Hamake Oozie Azkaban Cascading
workflow discription language XML XML (xPDL based) text file with key/value pairs Java API
dependencies mechanism data-driven explicit explicit explicit
requires Servlet/JSP container No Yes Yes No
allows to track a workflow progress console/log messages web page web page Java API
ability to schedule a Hadoop job execution at given time no yes yes yes
execution model command line utility daemon daemon API
allows to run Pig Latin scripts yes yes yes yes
event notification no no no yes
requires installation no yes yes no
supported Hadoop version 0.18+ 0.20+ currently unknown 0.18+
retries no at workflow node level yes yes
ability to run arbitrary commands yes yes yes yes
can be run on Amazon EMR yes no currently unknown yes

From FAQ:

What is the difference between Hamake and Cascading?

In short: Cascading is an API, while 'hamake' is an utility. Some differences:

  • hamake does not require any custom programming. It helps to automate running your existing Hadoop tasks and PIG scripts
  • We found hamake especially suitable for incremental processing of datasets
  • You can use 'hamake' to automate tasks written in other languages, for example using Hadoop streaming

How Hamake differs from Oozie and Azkaban?

Oozie and Azkaban are server-side systems that have to be installed and run as a service. Hamake is a lightweight client-side utility that does not require installation and has very simple syntax for workflow definition. Most importantly, Hamake is built based on dataflow programming principles - your Hadoop tasks execution sequence is controlled by the data. 

开源工作流比较

1.   大多数的工作流引擎并不能实现全部的接口,而且每个引擎的优点都分布在不同的接口上。如OBE的接口2实现的比较好,但没有实现接口4;Shark的接口5的实现是其它工作流引擎望尘莫及的。  Pro...
  • linjian19811027
  • linjian19811027
  • 2007年10月16日 09:46
  • 1154

大数据(十三) - Azkaban

Azkaban基本架构 Azkaban使用方式         REST API         WEB UI                 用户权限管理         ...
  • matthewei6
  • matthewei6
  • 2016年01月22日 13:45
  • 1318

工作流调度系统介绍,常见工作流调度系统对比,azkaban与Oozie对比,Azkaban介绍与特性(来自学习笔记)

1. 工作流调度器azkaban1.1 概述1.1.1为什么需要工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成:shell脚本程序,java程序,mapreduce程序、hive脚本等...
  • toto1297488504
  • toto1297488504
  • 2017年06月14日 15:45
  • 1476

国内多家工作流核心技术对比

  • 2010年02月06日 11:48
  • 33KB
  • 下载

Oozie和Azkaban的技术选型和对比

源码角度分析Oozie和Azkaban的优劣
  • gaoqida
  • gaoqida
  • 2016年08月09日 18:29
  • 6877

Azkaban学习笔记 --- Azkaban调研笔记

Azkaban学习笔记 --- Azkaban调研笔记
  • u012965373
  • u012965373
  • 2017年08月22日 20:34
  • 374

BPM领域常用的两款工作流CCBPM(ccflow与JFlow)和JBPM的对比

以国外流行的工作流jbpm4的模式与当今中国开源的ccbpm(ccflow和jflow的总称)流程引擎对照。以便让各位能够了解到中国国情的工作流引擎与国际流行的设计规则的差别、不同、与优缺点。 国...
  • jflows
  • jflows
  • 2015年08月06日 18:24
  • 2664

2种hadoop工作流调度器比较(Oozie、Azkaban)

https://github.com/azkaban/azkaban 1.概述   在调度 Hadoop 的相关作业时,有以下几种方式: 基于 Linux 系统级别的 Crontab。Java 应...
  • xiangxizhishi
  • xiangxizhishi
  • 2017年11月25日 15:18
  • 199

Oozie 大致概览

Oozie调研 在作业设计器中,实用哪种作业工作流的引擎是最主要的,现在对Oozie进行调研。 一.Oozie介绍 Oozie是一种工作流引擎,用于运行MR,Spark Job(有待测试),Pig等任...
  • gaoqida
  • gaoqida
  • 2016年08月07日 15:38
  • 926

国内五家知名工作流核心技术对比

  • 2010年12月20日 20:38
  • 30KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:四种工作流的比较
举报原因:
原因补充:

(最多只允许输入30个字)