Storm之——单机环境部署

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/78324617

从这篇博文开始，我们就进入Storm阶段的入门学习，最近，有些小伙伴发来私信说，博文写的太快，有些跟不上了，但是我还是希望大家能够跟上鄙人的速度，我们先把Hadoop生态的各项技术过一遍，把基础的知识串联一下，然后再带着大家深入分析每一项技术的实现细节，到那时，我会带着大家深究每一项技术的实现细节。

一、安装Zookeeper

1、下载Zookeeper

Storm的运行依赖于Zookeper,所以我们首先需要安装Zookeeper，这里我安装的Zookeeper版本是：zookeeper-3.4.9.tar.gz

2、解压Zookeeper

tar -zxvf zookeeper-3.4.9.tar.gz

3、配置Zookeeper

进入ZOOKEEPER_HOME的conf目录下，执行如下命令

cp zoo_sample.cfg zoo.cfg

拷贝一份zoo.cfg文件，然后编译zoo.cfg文件如下所示：

vim zoo.cfg
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/usr/local/zookeeper-3.4.9/data
dataLogDir=/usr/local/zookeeper-3.4.9/dataLog
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

4、启动Zookeeper

进入ZOOKEEPER_HOME/bin目录下，执行命令

./zkServer.sh start

二、安装Storm

1、下载Storm

这里我使用的版本是：apache-storm-0.9.2-incubating.tar.gz

2、解压Storm

tar -zxvf apache-storm-0.9.2-incubating.tar.gz

3、配置Storm

进入STORM_HOME/conf下，执行命令：

vim conf/storm.yaml

3-1、修改storm.zookeeper.servers:配置项

找到storm.zookeeper.servers:配置项，这里原来是配置所有zookeeper服务集群的，这里改成本机即可：
如下所示：

storm.zookeeper.servers:
     - "127.0.0.1"
#     - "server2"

见下图：

3-2、修改nimbus.host选项

配置nimbus监控节点nimbus.host选项，当然还是本地地址：

如下所示：

nimbus.host: "127.0.0.1"

见下图：

3-3、手动添加storm.local.dir和supervisor.slots.ports

在storm.yaml文件最后手动添加storm.local.dir相关文件存放的本地目录和supervisor.slots.ports执行worker作业进程的端口，这里最多是5个端口，这里配置的就是4个端口：6700,6701,6702,6703

如下所示：

storm.local.dir: /home/storm
supervisor.slots.ports:
   - 6700
   - 6701
   - 6702
   - 6703

见下图：

完整的配置文件截图如下：

这里本地文件存放目录就在/home/storm下，可以自定义修改
注意一点是：配置条目的冒号后面要有一个空格，下面的对应值横杠两侧都要有空格，前面可以多输入几个，注意这些细节可以避免很多错误
到这里storm的基本配置就完成了，单机环境暂时不用配置drpc服务了，这个时候保存并退出配置文件。

4、启动Storm

4-1、执行命令启动nimbus主节点

nohup ./bin/storm nimbus >> /dev/null &

稍等一会屏幕滚动，然后按回车就回到了命令行
4-2、启动supervisor从节点

nohup bin/storm supervisor >> /dev/null & 

4-3、启动strom ui管理界面

nohup ./bin/storm ui & 

都启动完毕之后， 执行 jps 命令可以查看到nimbus、supervisor、core这三个进程，打开浏览器访问对应主机的地址，这里是http://192.168.209.121:8080/，访问就可以进入Storm UI了，如下图所示

至此，Storm单机环境部署完毕。