![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
workflow
袁一白
这个作者很懒,什么都没留下…
展开
-
工作流开源系统--OOZIE
对比Oozie以及Azkaban,个人觉得选择Oozie作为流程引擎的选型比较好,理由如下: 1.Oozie是基于Hadoop系统进行操作,而Azkaban是基于命令行进行操作。使用hadoop提供的第三方包JobClient比直接在底层跑shell命令开发成本小,可能遇到的坑也少(一个是基于平台,一个是基于系统)。 2.Oozie的操作是放在Hadoop中,而Azkaban的运行是服务器运行...原创 2018-06-22 09:02:26 · 567 阅读 · 0 评论 -
工作流开源系统--DRAKE
1工作流开源系统概要以下是各类数据分析的工作流pipeline管道模型的框架和库包,包含特定科学等业务领域行业或者通用领域,结合大数据big data分析的各种开放源码项目。包括下一代测序技术(NGS)打开了数据分析的空间,生物学成为数据密集领域,越来越多的生物数据需要通过复杂的计算工具(集群、云端和网格计算)进行NGS处理和分析。工作流开源系统网址现类Arvadoshttp://arvados....原创 2018-06-22 09:55:46 · 2858 阅读 · 0 评论 -
工作流开源系统--OOZIE-test测试文档
之前的工作流是rundeck,这主要是处理过程大多数是使用脚本语言。 新的布局是使用oozie,基本的可以看我之前的文章:oozie 首先,先看一下成果 这里用一个例子来说明oozie的使用,首先上测试图:1 重点聊一下spark集群在oozie上的特殊性这里有2个坑,分别是集群的参数和del先讨论参数问题 从上图可以看出,1和2是运行成功的,3是失败的 我们看一...原创 2018-06-25 20:17:05 · 526 阅读 · 0 评论 -
工作流开源系统--OOZIE之安装spark2
引言使用Hue可以方便的通过界面制定Oozie的工作流,支持Hive、Pig、Spark、Java、Sqoop、MapReduce、Shell等等。Spark?当让可以,但是自带是spark1的,那能不能支持Spark2的呢?接下来本文章就主要讲述如何使用Hue创建Spark1和Spark2的Oozie工作流。安装spark2-lib到oozie环境说明 spark2 : CD...原创 2018-06-26 15:55:51 · 1401 阅读 · 4 评论