Storm集群搭建

Storm集群搭建

安装Storm的依赖

• Storm的安装需要依赖JDK、ZooKeeper
• 0.9版本之前的Storm需要安装ZMQ和JZMQ作为消息传递机制

Storm组件

Storm集群分为Nimbus节点和Supervisor节点

Nimbus节点

• 用于提交应用Topology
• 管理整个Storm节点: 将Topology的Task分配给Worker
• 监控各个Supervisor节点的状态, 从而进行负载均衡等
• Nimbus节点上不能运行Worker

Supervisor节点

• 负责从ZooKeeper上获取、启动并运行任务

配置Storm

快速部署需要修改的配置如下:

• storm.zookeeper.servers: “<zookeeper_ip>”
• storm.local.dir: “<storm_local_dir”
• nimbus.host: “<nimbus_ip>”

• supervisor.slots.ports:

  - 6700
- 6701
- 6703
- 6704

启动Storm

• 启动Nimbus进程: ${STORM_HOME}/bin/storm nimbus
• 启动Supervisor进程: ${STORM_HOME}/bin/storm supervisor
• 启动UI进程: ${STORM_HOME}/bin/storm ui
• 启动Log Viewer进程: ${STORM_HOME}/bin/storm logviewer

• 在Storm Nimbus节点上需要运行的进程为Nimbus、UI和Log Viewer
• 在Storm Supervisor节点上需要运行的进程为Supervisor和Log Viewer