Azkaban
一个完整的数据分析系统通常都是由大量任务单元组成
各任务单元之间存在时间先后及前后依赖关系
为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行;
kismetG
HelloWorld
展开
-
ZooKeeper的初识(Zookeeper基本知识,ZooKeeper shell,ZooKeeper数据模型 ,ZooKeeper Watcher 监听机制,ZooKeeper选举机制)
Zookeeper基本知识 Zookeeper集群搭建 Zookeeper集群搭建指的是ZooKeeper分布式模式安装。通常由2n+1台servers组成。这是因为为了保证Leader选举(基于Paxos算法的实现)能过得到多数的支持,所以ZooKeeper集群的数量一般为奇数。 Zookeeper运行需要java环境,所以需要提前安装jdk。对于安装leade...原创 2019-12-10 19:48:39 · 1983 阅读 · 1 评论 -
Azkaban工作流调度
一.工作流程 1.工作流产生背景 工作流(Workflow),指“业务过程的部分或整体在计算机应用环境下的自动化”。 工作流解决的主要问题是:为了实现某个业务目标,利用计算机软件在多个参与者之间按某种预定规则自动传递文档、信息或者任务。 一个完整的数据分析系统通常都是由多个前后依赖的模块组合构成的:数据采集、数据预处理、数据分析、数据展示等。各个模块单元之间存在时间先后依赖关系,且存在着周期性重...原创 2019-12-09 22:30:13 · 1865 阅读 · 0 评论