storm使用(一)–入门及安装

storm使用(一)–入门及安装

一、简介

storm是twitter开源的分布式实时计算系统，能够处理无界的数据流。这里对stom及安装进行介绍。

二、strom组成

2.1 节点组成

storm由master node(nimbus守护进程)和worker node(supervisor守护进程) 组成，master node和worker node间是通过zookeeper进行交互的。

2.1.1 master节点

master节点只能有一个，上面运行nimbus守护进程(类似hadoop的JobTracker)，负责集群中代码分发、结点任务分配、监控等作用。

2.1.2 worker结点

worker节点可以有多个，运行着supervisor守护进程，监听主机已经分配的作业，启动和停止numbus分配的工作进程。

2.2 组件组成

storm从数据源读取数据，经过一系列单元处理，最终输出数据。其中经过流程及数据结构有：
tuple(元组)、stream(数据流)、spout(喷口)、bolt(螺栓)。

2.2.1 tuple

tuple是数据的载体，是最基本的单元，支持所有基本类型、字符串、字节数组或者实现序列化的对象。

2.2.2 stream

stream是无界的tuple序列