Storm集群搭建
安装Storm的依赖
- Storm的安装需要依赖JDK、ZooKeeper
- 0.9版本之前的Storm需要安装ZMQ和JZMQ作为消息传递机制
Storm组件
Storm集群分为Nimbus节点和Supervisor节点
Nimbus节点
- 用于提交应用Topology
- 管理整个Storm节点: 将Topology的Task分配给Worker
- 监控各个Supervisor节点的状态, 从而进行负载均衡等
- Nimbus节点上不能运行Worker
Supervisor节点
- 负责从ZooKeeper上获取、启动并运行任务
配置Storm
快速部署需要修改的配置如下:
- storm.zookeeper.servers: “
<zookeeper_ip>
” - storm.local.dir: “
<storm_local_dir
” - nimbus.host: “
<nimbus_ip>
” supervisor.slots.ports:
- 6700
- 6701
- 6703
- 6704
启动Storm
- 启动Nimbus进程:
${STORM_HOME}/bin/storm nimbus
- 启动Supervisor进程:
${STORM_HOME}/bin/storm supervisor
- 启动UI进程:
${STORM_HOME}/bin/storm ui
- 启动Log Viewer进程:
${STORM_HOME}/bin/storm logviewer
- 在Storm Nimbus节点上需要运行的进程为Nimbus、UI和Log Viewer
- 在Storm Supervisor节点上需要运行的进程为Supervisor和Log Viewer