Storm集群配置与启动

最新推荐文章于 2024-08-11 10:03:19 发布

hongye301

最新推荐文章于 2024-08-11 10:03:19 发布

阅读量1.7k

点赞数

分类专栏：大数据文章标签： Storm Storm安装 Storm启动 Storm命令

本文链接：https://blog.csdn.net/hongye301/article/details/86586528

版权

本文详细介绍了如何配置和启动Storm集群，包括配置storm.yaml文件，设置zookeeper、nimbus和supervisor等服务，以及启动相关后台进程。还提到了Storm的一些常用命令，如提交、关闭topology以及任务的均衡分配。

摘要由CSDN通过智能技术生成

一、Storm集群配置

搭建总体的架构：
在这里插入图片描述
实现步骤：
1.安装和配置jdk
2.安装和配置zookeeper
3.上传和解压storm
4.配置storm安装目录conf目录下的storm.yaml文件
storm.yaml配置示例：
找到storm.zookeeper.servers:
添加服务节点，如下：

storm.zookeeper.servers:
- “zkp1”
- “zkp2”
- “zkp3”

nimbus.host: “zkp1”
storm.local.dir: “/root/apache-storm-0.9.3/tmp”

注意：
配置项开头需要有空格，：后面需要跟空格，否则启动会报错

其中：
1）storm.zookeeper.services:配置zookeeper集群的主机名称。
2）nimbus.host:指定了集群中nimbus的节点。
3）supervisor.slots.ports:配置控制每个supervisor节点运行多少个worker进程。这个配置定义为worker监听的端口的列表，监听端口的个数控制了supervisor节点上有多少个worker的插槽。默认的storm使用6700~6703端口，每个supervi