storm集群搭建

环境：centos6.5

软件：

jzmq-master-----java与c++通讯的桥梁，有了它，就可以使用zeromp了

storm-0.8.2

zeromq-2.1.7-----号称史上最牛逼的消息队列（用c++写的）

zookeeper-3.4.5

 

前提：安装jdk，并配置环境变量(/etc/profile)

 

1.编译安装ZMQ：

tar -zxzf zeromq-2.1.7.tar.gz -C /cloud

cd zeromq-2.1.7

./configure

#编译可能会出错：configure: error: Unable to find a working C++ compiler

#安装一下依赖的rpm包：libstdc++-devel gcc-c++ 

可以上网的情况下： 

yum install gcc-c++

yum install libuuid-devel

 

--start-----不能使用--------

虚拟机不能上网情况：首先到http://mirrors.163.com/centos/6.4/os/x86_64/Packages/ 下载rpm

rpm -i libstdc++-devel-4.4.7-3.el6.x86_64.rpm

rpm -i gcc-c++-4.4.7-3.el6.x86_64.rpm

rpm -i libuuid-devel-2.17.2-12.9.el6.x86_64.rpm

--end-----不能使用--------

 

./configure

make

make install

 

 

2.编译安装JZMQ：

解压jzmq，命令如下：unzip jzmq-master.zip -d /cloud

cd jzmq目录，运行命令：./autogen.sh

#报错:autogen.sh: error: could not find libtool. libtool is required to run autogen.sh. 缺少libtool

yum install libtool

或者手动安装

rpm -i autoconf-2.63-5.1.el6.noarch.rpm 

rpm -i automake-1.11.1-4.el6.noarch.rpm 

rpm -i libtool-2.2.6-15.5.el6.x86_64.rpm

 

./configure

make

make install

 

 

PS： which python，如果linux自带python就不需要安装了

3.编译安装Python（storm的启动配置文件是用python写的）

tar –zxvf Python-2.6.6.tgz

cd Python-2.6.6

./configure

make

make install

 

 

4.下载storm-0.8.2.zip,并使用unzip方式解决文件(unzip storm-0.8.2.zip -d /cloud)

配置storm.yaml，代码如下：

------start---code-----------

storm.zookeeper.servers:

     - "itcast04"

#     - "server2"

# 

nimbus.host: "itcast04"

------end---code-----------

PS：zookeeper和niubus都是同一台节点

 

如果启动时候出现以下报错信息：

Exception in thread "main" expected '<document start>', but found BlockMappingStart

解决办法：查看storm.yaml配置文件，例如：多了一些空格

 

 

启动nimbus例如：/bin/storm nimbus

启动ui例如：/bin/storm ui

 

启动Nimbus后台程序，并放到后台执行

bin/storm nimbus >/dev/null 2>&1 &

 

storm ui 访问地址：http://192.168.0.154:8080/

core是监控页面的进程，即ui

 

 

5. 下载zookeeper-3.4.5.tar.gz，并使用tar命令解决文件(tar -zxvf zookeeper-3.4.5.tar.gz -C /cloud)

从zoo_sample.cfg复制一个文件为zoo.cfg

cp zoo_sample.cfg zoo.cfg

 

zookeeper启动命令：

./zkServer.sh start

 

storm后台启动命令：

./storm nimbus > ../logs/info 2>&1 &

./storm ui > ../logs/info 2>&1 &

./storm supervisor > ../logs/info 2>&1 &

 

提交任务

./storm jar /home/lifeCycle.jar cn.itcast.storm.topology.TopoMain

 

查看当前在执行中的任务

./storm list

 

停止某个任务

./storm kill life-Cycle

 

 

高可靠性

kill -9 其中一个supervisor进程，其他supervisor会接管down掉的worker，启动down掉的supervisor后，可以在管理

页面按＂Rebalance＂重新平衡worker(即worker会移到刚启动的supervisor)

 

保证消息不丢失，消息处理失败可以重新发送，处理成功调用emit()和ack()，失败调用fail()

Storm中的每一个Topology中都包含有一个Acker组件。Acker组件的任务就是跟踪从Spout中流出的每一个messageId所绑定的Tuple树中的所有Tuple的处理情况。如果在用户设置的最大超时时间内这些Tuple没有被完全处理，那么Acker会告诉Spout该消息处理失败，相反则会告知Spout该消息处理成功

 

 

 

 

以下是我精心整理的文章：

• Java 基础面试题，助你轻松搞定面试官，请点击这里进入
• Java 集合底层原理剖析（List、Set、Map、Queue），请点击这里进入
• 服务注册与发现原理剖析（Eureka、Zookeeper、Nacos），请点击这里进入
• 分布式配置管理的原理剖析（Spring Cloud Config、Apollo、Nacos），请点击这里进入