storm
storm
車輪の唄
atarik@163.com
展开
-
storm kill topology
kill topology后,spout不再接收消息,但是其发送的消息待处理的会继续在bolt组件中处理在达到kill 的时间后所有组件停止工作spout的速度不受bolt处理tuple的速度影响,所以需要处理好spout和bolt的处理速度关系各个bolt间的速度是相互影响的,所有的bolt处理速度受到速度最慢的bolt的制约原创 2017-04-07 19:23:15 · 1246 阅读 · 0 评论 -
storm跑历史日志
2.4亿数据跑了36hours,没有spout‘toom,因为没有设置ackershuju从2016.10-2017.04 主要是从oss读取日志很慢原创 2017-04-08 23:46:19 · 311 阅读 · 0 评论 -
通过 Storm 消费 Loghub 日志
基本结构和流程上图中红色虚线框中就是提供的 loghub storm spout,每个 storm topology 会有一组 spout,同组内的 spout 共同负责读取 logstore 中全部数据。不同 topology 中的 spout 相互不干扰。每个 topology 需要选择唯一的 loghub consume group 名字来相互标识,同一 topolo转载 2017-03-09 10:15:51 · 1372 阅读 · 0 评论 -
Storm在zookeeper上的目录结构
/-{storm-zk-root} -- storm在zookeeper上的根目录(默认为/storm) | |-/assignments -- topology的任务分配信息 | | | |-/{topology-id} -- 这个目录保存的是每个topology的assignments信息包括:对应的nimbus上原创 2017-02-27 11:02:49 · 503 阅读 · 0 评论