https://archive.apache.org/dist/这个地址提供apache项目的下载页面,你只需要找到你需要的项目,点击进去就是项目对应的下载页面
安装storm前必须安装zookeeper集群并正常启动zk,不然storm启动不了
推荐zookeeper安装教程https://blog.csdn.net/lu1171901273/article/details/87606517
https://archive.apache.org/dist/storm/ 下载对应的版本 简易安装
解压,重命名,修改配置文件
tar -zxvf apache-storm-0.9.5.tar.gz
mv apache-storm-0.9.5 ./storm
cd storm/conf/
vim storm.yaml
红色圈中的是zookeeper集群和nimbus主机地址,
#指定nimbus启动JVM最大可用内存大小
nimbus.childopts: "-Xmx1024m"
#指定supervisor启动JVM最大可用内存大小
supervisor.childopts: "-Xmx1024m"
#指定supervisor节点上,每个worker启动JVM最大可用内存大小
worker.childopts: "-Xmx768m"
#指定ui启动JVM最大可用内存大小,ui服务一般与nimbus同在一个节点上。
ui.childopts: "-Xmx768m"
#指定supervisor节点上,启动worker时对应的端口号,每个端口对应槽,每个槽位对应一个worker
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
启动
192.168.124.140中启动nimbus和ui:
nohup storm nimbus &
nohup storm ui &
192.168.124.143 192.168.124.144机器上启动:
nohup storm supervisor &
日志目录查看logs,vim ui.log 可以看到默认端口
提交任务命令格式:storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】
bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.6.jar storm.starter.WordCountTopology wordcount
执行kill命令时可以通过-w [等待秒数]指定拓扑停用以后的等待时间
杀死任务命令格式:storm kill 【拓扑名称】 -w 10
storm kill topology-name -w 10
列子 storm kill wordcount -w 10
停用任务命令格式:storm deactivte 【拓扑名称】
storm deactivte wordcount
我们能够挂起或停用运行中的拓扑。当停用拓扑时,所有已分发的元组都会得到处理,
但是spouts的nextTuple方法不会被调用。销毁一个拓扑,可以使用kill命令。
它会以一种安全的方式销毁一个拓扑,首先停用拓扑,在等待拓扑消息的时间段内允许拓扑完成当前的数据流。
启用任务命令格式:storm activate【拓扑名称】
storm activate wordcount
重新部署任务命令格式:storm rebalance 【拓扑名称】
storm rebalance wordcount
再平衡使你重分配集群任务。这是个很强大的命令。
比如,你向一个运行中的集群增加了节点。再平衡命令将会停用拓扑,然后在相应超时时间之后重分配工人,并重启拓扑。
storm打包部署和hadoop差不多,一般流程
1、写代码 2、打包 3、上传到storm环境 4、使用命令执行