大数据之Storm（一）：集群部署

介绍集群的安装与配置方式

安装包及环境

• 安装包：apache-storm-0.10.2.tar.gz 去storm官网下载即可
• 默认安装好了：JDK7、zookeeper集群
• Centos7，用户名为mym上操作
• 三台机器配置好了主机映射名（zk和storm的名称应该配置）如我的配置

192.168.31.201 mym zk201 storm201
192.168.31.202 mini2 zk202 storm202
192.168.31.203 mini3 zk203 storm203

安装

1.解压安装包

tar -zvxf apache-storm-0.10.2.tar.gz

解压后，路径如下

[mym@mym apps]$ pwd
/home/mym/apps
[mym@mym apps]$ ll
total 4
drwxr-xr-x. 11 mym mym  175 Jun 21 03:48 hadoop-2.4.1
drwxrwxr-x.  8 mym mym  159 Aug  7 01:30 hive
drwxrwxr-x. 11 mym mym  244 Sep 10 01:50 storm
drwxr-xr-x. 11 mym mym 4096 Jan 13  2018 zookeeper

2.修改配置文件

[mym@mym conf]$ pwd
/home/mym/apps/storm/conf
[mym@mym conf]$ ls
storm_env.ini  storm.yaml
[mym@mym conf]$ cp storm.yaml storm.yaml.bk
[mym@mym conf]$ vi storm.yaml

添加如下内容

# zk集群信息
storm.zookeeper.servers:
     - "zk201"
     - "zk202"
     - "zk203"

# 集群的nimbus所在机器
nimbus.host: "storm201"
# nimbus启动JVM可用最大内存
nimbus.childopts: "-Xmx256m"
# supervisor启动JVM可用最大内存
supervisor.childopts: "-Xmx256m"
# 每个worker启动JVM可用最大内存
worker.childopts: "-Xmx128m"
# UI界面启动JVM可用最大内存
ui.childopts: "-Xmx128m"
# 指定supervisor节点上启动的worker的端口号或者叫槽位，一个槽位供一个worker使用
supervisor.slots.ports: 
     - 6701
     - 6702

注意：内存大小和worker数量需要根据机器配置来分配

3.分发配置好的安装包

scp -r storm storm202:/home/mym/apps
scp -r storm storm203:/home/mym/apps

4.启动集群

注意先启动zk集群，否则会启动失败

[mym@mym storm]$ cd bin
[mym@mym bin]$ ls
storm  storm.cmd  storm-config.cmd  storm.py
[mym@mym bin]$ nohup ./storm nimbus &

启动UI
nohup ./storm ui &

另两台启动supervisor
[mym@mini2 bin]$ nohup ./storm supervisor &

5.查看集群

访问nimbus.host:8080，即可看到storm的ui界面。
这里通过windows浏览器查看：192.168.31.201:8080