先搭建好zookeeper伪集群,搭建过程参照http://blog.csdn.net/xymyeah/article/details/6320668或者http://blog.csdn.net/beitiandijun/article/details/41802835
再搭建storm伪集群
zookeeper使用3.4.6
storm使用0.9.3
下面是storm伪集群的搭建
首先,0.9.3使用netty通信(需要在storm.yaml中显式配置使用netty),不使用zeromq、jzmq,因此,不需要安装zeromq、jzmq
1.在http://www.apache.org/dyn/closer.cgi/storm/apache-storm-0.9.3/apache-storm-0.9.3.zip下载0.9.3解压
2.在解压后的apache-storm-0.9.3\conf找到storm.yaml进行配置;配置如下:
storm.zookeeper.servers:
- "192.168.1.101"
storm.zookeeper.port: 2181
nimbus.host: "192.168.1.101"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
storm.local.dir: "F:/bigData/bigDataEnviroment/storm/data"
storm.messaging.transport: "backtype.storm.messaging.netty.Context"
storm.messaging.netty.server_worker_threads: 1
storm.messaging.netty.client_worker_threads: 1
storm.messaging.netty.buffer_size: 5242880
storm.messaging.netty.max_retries: 100
storm.messaging.netty.max_wait_ms: 1000
storm.messaging.netty.min_wait_ms: 100
storm配置项含义如下:
storm.zookeeper.servers | ZooKeeper服务器列表 |
storm.zookeeper.port | ZooKeeper连接端口 |
storm.local.dir | storm使用的本地文件系统目录(必须存在并且storm进程可读写) |