数据分两类,一类是静态处理,多做批量处理,属于OLAP,一类是流式数据,多做实时处理,属于OLTP。Spark Streaming属于微批处理,并非真正意义上的实时处理。本节将介绍一个真正意义上的流处理框架Storm,本文将阐述Storm的安装。
1 系统、软件以及前提约束
- CentOS 7 64 工作站 作者的机子ip是192.168.100.200,请读者根据自己实际情况设置
- jdk1.8已经安装并配置环境变量
https://www.jianshu.com/p/826dc5eca7cb - zookeeper已完成安装
https://www.jianshu.com/p/45e84fc9d02f - apache-storm-1.2.1
下载链接:https://pan.baidu.com/s/1c_skDYabCRSkS5hRUB6lFQ
已下载apache-storm-1.2.1.tar.gz并上传到/root
提取码:a00t - 为去除权限对操作的影响,所有操作都以root进行
- 确保zookeeper已经启动
2 操作
- 1 使用xshell以root登录到192.168.100.200
- 2 解压
# 进到家目录
cd
# 解压
tar -xvf apache-storm-1.2.1.tar.gz
- 3 配置storm-env.sh
# 进到storm配置目录
cd /root/apache-storm-1.2.1/conf
# 在storm-env.sh中加入以下内容
export JAVA_HOME=/root/jdk1.8.0._152
export STORM_CONF_DIR=/root/apache-storm-1.2.1/conf
保存,退出。
- 4 启动nimbus, supervisor, ui【注意这些操作对内存空间要求较大】
cd /root/apache-storm-1.2.1/bin
# 启动nimbus
./storm nimbus
./storm supervisor
./storm ui
- 5 测试
(1)jps
能看到nimbus, supervisor, ui以及zk的进程
(2)在浏览器中输入http://192.168.100.200:8080/index.html
能看到storm的展示界面。
以上就是在CentOS7中安装Storm的过程。