storm流式计算的应用案例

Storm集群部署及单词计数

目标：

         通过本次能够掌握Strom集群搭建、Storm配置文件、Storm源码管理、Storm编程模型。

课程大纲：

1. 集群部署的基本流程
2. 集群部署的基础环境准备
3. Storm集群部署
4. Storm集群的常用操作命令
5. Storm集群的进程及日志熟悉
6. Storm源码下载及目录熟悉
7. Storm 单词计数案列

 

内容

1. 集群部署的基本流程

集群部署的流程：下载安装包、解压安装包、修改配置文件、分发安装包、启动集群

注意：

    所有的集群上都需要配置hosts

    vi  /etc/hosts

       192.168.239.128 storm01 zk01 hadoop01

      192.168.239.129 storm02 zk02 hadoop02

       192.168.239.130 storm03 zk03 hadoop03

2.集群部署的基础环境准备

安装前的准备工作（zk集群已经部署完毕）

• 关闭防火墙

chkconfig iptables off  && setenforce 0

• 创建用户

groupadd realtime &&　useradd realtime　&& usermod -a -G realtime realtime

• 创建工作目录并赋权

mkdir /export

mkdir /export/servers

chmod 755 -R /export

• 切换到realtime用户下

su realtime

3、Storm集群部署

3.1、下载安装包

wget    http://124.202.164.6/files/1139000006794ECA/apache.fayea.com/storm/apache-storm-0.9.5/apache-storm-0.9.5.tar.gz

 

3.2、解压安装包

tar