Storm
IT雪
run
展开
-
Storm-集群安装Storm
1.集群部署的基本流程集群部署的流程:下载安装包、解压安装包、修改配置文件、分发安装包、启动集群2.集群部署的基础环境准备安装前的准备工作(zk集群已经部署完毕)3、Storm集群部署3.1、下载安装包wget http://124.202.164.6/files/1139000006794ECA/apache.fayea.com/storm/apache-storm...原创 2018-12-05 13:34:27 · 318 阅读 · 0 评论 -
Storm的可靠性
1、Spout的可靠性保证 在Storm中,消息处理可靠性从Spout开始的。storm为了保证数据能正确的被处理, 一个提供了可靠的处理机制的spout需要记录它发射出去的tuple,当下游bolt处理tuple或者子tuple处理失败时spout能够重新发射。子tuple可以理解为bolt处理spout原始tuple。另外一个角度来看,可以将spout发射的数据流看作一个tupl...原创 2018-12-08 10:08:31 · 428 阅读 · 0 评论 -
理解nimbus守护进程
理解nimbus守护进程nimbus守护进程的主要职责是管理,协调和监控在集群上运行的topology。包括topology的发布,任务指派,事件处理失败时重新指派任务。将topology发布到Strom集群,将预先打包成jar文件的topology和配置信息提交(submitting)到nimbus服务器上。一旦nimbus接收到了topology的压缩包,会将jar包分发到足够数量的s...原创 2018-12-08 10:18:58 · 743 阅读 · 0 评论