linux下storm集群配置,Storm 1.2.2 集群 安装手册

1 搭建Hadoop 集群环境

Storm的运行依赖与HDFS和Zookeeper，关于这2个组件的安装和配置参考如下博客：

2 安装Storm集群

2.1 下载Storm

直接从官方下载：

2.2 解压缩文件

[dave@www.cndba.cn ~]$ tar xzvf apache-storm-1.2.2.tar.gz

[dave@www.cndba.cn ~]$ mv apache-storm-1.2.2 storm

2.3 修改环境变量

在/etc/profile文件中添加如下内容：

#Storm

export STORM_HOME=/home/hadoop/storm

export PATH=$PATH:$STORM_HOME/bin

2.4 修改Storm配置文件

修改storm.yaml文件：

https://www.cndba.cn/dave/article/3345

[dave@www.cndba.cn storm]$ pwd

/home/hadoop/storm

[dave@www.cndba.cn storm]$ mkdir data

[dave@www.cndba.cn storm]$

[dave@www.cndba.cn conf]$ pwd

/home/hadoop/storm/conf

[dave@www.cndba.cn conf]$ ls

storm_env.ini storm-env.ps1 storm-env.sh storm.yaml

[dave@www.cndba.cn conf]$ vim storm.yaml

添加如下内容：https://www.cndba.cn/dave/article/3345https://www.cndba.cn/dave/article/3345

storm.zookeeper.servers:

- "192.168.56.100"

- "192.168.56.101"

- "192.168.56.102"

#nimbus

nimbus.host: "192.168.56.100"

ui.port: 8888

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

storm.local.dir: "/home/hadoop/storm/data"

2.5 分发到其他节点

[dave@www.cndba.cn ~]$ scp -r storm Slave1:`pwd`

[dave@www.cndba.cn ~]$ scp -r storm Slave2:`pwd`

2.6 在主节点启动Spark

在Master开启nimbus进程:https://www.cndba.cn/dave/article/3345https://www.cndba.cn/dave/article/3345

[dave@www.cndba.cn conf]$ storm nimbus &

[1] 12074

[dave@www.cndba.cn conf]$

在两台Slave上开启supervisor 进程:

[hadoop@Slave1 ~]$ storm supervisor &

[1] 3976

[hadoop@Slave1 ~]$

[root@Slave2 ~]# storm supervisor &

[1] 2960

[root@Slave2 ~]#

在Master主机上开启web:

https://www.cndba.cn/dave/article/3345

[dave@www.cndba.cn conf]$ storm ui &

[2] 12280

[dave@www.cndba.cn conf]$ storm logviewer &

[3] 12384

[dave@www.cndba.cn conf]$

storm ui &

2.7 验证

[dave@www.cndba.cn conf]$ jps

12384 logviewer

12497 Jps

13970 QuorumPeerMain

23522 NameNode

23988 ResourceManager

30709 Worker

12280 core

12074 nimbus

23757 SecondaryNameNode

30622 Master

[dave@www.cndba.cn conf]$

[hadoop@Slave1 ~]$ jps

13800 QuorumPeerMain

18232 DataNode

3976 Supervisor

25369 Worker

19133 NodeManager

4109 Jps

[hadoop@Slave1 ~]$

https://www.cndba.cn/dave/article/3345

版权声明：本文为博主原创文章，未经博主允许不得转载。