虚拟机上搭建storm集群详细教程

vmware+ubuntu+storm集群搭建

前言

Storm是一个分布式的、高容错的实时计算系统。
Storm对于实时计算的的意义相当于Hadoop对于批处理的意义。Hadoop为我们提供了Map和Reduce原理，使我们对数据进行批处理变的非常的简单和优美。同样，Storm也对数据的实时计算提供了简单Spout和Bolt原理。
Storm适用的场景：
1、流数据处理：Storm可以用来用来处理源源不断的消息，并将处理之后的结果保存到持久化介质中。
2、分布式RPC：由于Storm的处理组件都是分布式的，而且处理延迟都极低，所以可以Storm可以做为一个通用的分布式RPC框架来使用。
对于想学习storm流式计算的，我们先从搭建storm集群开始。对于新手，当然是先在虚拟机上搭建练练手，所以我就把搭建过程简单的记录一下。

一、机器准备

我准备了三台机器，首先在vmware安装ubuntu系统，得到第一台机器，然后通过虚拟机的克隆功能，得到另外两台。虚拟机安装ubuntu可参考下面的教程：虚拟机VMware+Ubuntu系统的安装教程
所以我的三台机器为：

master：192.168.229.128
slave1：192.168.229.129
slave2：192.168.229.130

配置之前，我先在home目录下建了一个文件夹spark(本来要搭建spark的，先搭建storm)，后面下载和安装的文件都放在spark目录下。

二、安装jdk

1、去oracle官网下载，链接点此。下载后放到/home/spark/目录下，也可以通过终端进入该目录，在终端输入下面命令下载压缩包。

wget http://download.oracle.com/otn-pub/java/jdk/8u111-b14/jdk-8u111-linux-x64.tar.gz

2、解压jdk压缩包

tar -zxvf jdk-8u111-linux-x64.tar.gz

3、设置环境变量，sudo vi /etc/profile