Storm简单介绍

官网简介

Apache Storm is a free and open source distributed realtime computation system. Storm makes it easy to reliably process unbounded streams of data, doing for realtime processing what Hadoop did for batch processing. Stormtt is simple, can be used with any programming language, and is a lot of fun to use! Storm has many use cases: realtime analytics, online machine learning, continuous computation, distributed RPC, ETL, and more.

大意是Storm是一个分布式实时计算系统（mapreduce主要做离线的批量处理，主要用于数据挖掘、分析和统计，而实时可以支持在线系统）。Storm支持跨语言编程， 应用场景是实时计算分析，在线机器学习，持续计算，分布式RPC（hadoop RPC框架不支持分布式，Storm支持服务的分布式提供以及负载均衡），ETL。

Storm基本概念

Topologies：拓扑，俗称一个任务（消息源和处理逻辑单元形成的有向图）；

Spouts：拓扑的消息源（只有一级）；

Bolts：拓扑的处理逻辑单元（可以有很多级，每一级处理一些逻辑）；

Tuple：数据元组（Spouts向Bolts或者Bolts向Bolts传递信息时信息的封装形式）；

Stream：流（信息的流动路径）；

Stream groupings：流的分组策略；

Tasks：任务处理单元；

Executor：工作线程；

Workers：工作进程。

Storm集群安装

Storm集群包括Nimbus节点（负责集群的协调管理）和supervisor节点（负责具体运算）。安装步骤：

1.安装zookeeper集群；

2.上传安装包，解压；

3.修改配置文件 storm.yaml

########### These MUST be filled in for a storm configuration
 storm.zookeeper.servers:    ##zookeeper配置
     - "sempplsl-02"
     - "sempplsl-03"
     - "sempplsl-04"

 nimbus.host: "sempplsl-02"  ##nimbus节点

4.启动集群
将上述配置好的安装文件scp到集群的其它节点 ，然后启动集群

在nimbus节点：

./storm nimbus  <!-- 启动nimbus -->
./storm ui    <!-- 启动storm ui -->

在supervisor节点：

./storm supervisor

在这里启动了两个supervisor，查看storm UI：