Storm
文章平均质量分 80
82年的哇哈哈
这个作者很懒,什么都没留下…
展开
-
Storm的Act机制
ack是什么 ack 机制是storm整个技术体系中非常闪亮的一个创新点。 通过Ack机制,spout发送出去的每一条消息,都可以确定是被成功处理或失败处理, 从而可以让开发者采取动作。比如在Meta中,成功被处理,即可更新偏移量,当失败时,重复发送数据。 因此,通过Ack机制,很容易做到保证所有数据均被处理,一条都不漏。 另外需要注意的,当spout触发fail动作时,不会自动重发失败的...原创 2018-08-09 13:38:11 · 377 阅读 · 0 评论 -
Storm基础(一)
storm架构图: nimbus:负责资源调度和任务分配 supervisor:接受nimbus分配的任务,启动和停止属于自己管理的worker进程 worker:运行具体处理组件的逻辑 task:worker中每一个spout/bolt的线程称为一个task,在storm0.8之后,task不再与物理线程对应,同一个spout\bolt的task可能会共享一个物理线程,该线程称为ex...原创 2018-08-06 20:31:31 · 271 阅读 · 0 评论 -
storm的act机制原理
act机制总结 1、spout发送的一条消息,会有系统生成一个ROOTID(一个64为随机数) 2、由于用户在发送数据的时候,指定了meeeageId,所以在发送数据的时候,会创建一个pendingMap map以ROOTID为key,以用户的messageId为value DataTuple:含有数据 ActTuple:不含有数据 含有ROOTID 锚点ID 3、sp...原创 2018-08-14 22:24:16 · 756 阅读 · 0 评论 -
Storm的API
1、wordcount 2、act实现 3、接口选择 4、并行度的设置 待完成...原创 2018-08-15 10:00:48 · 401 阅读 · 0 评论 -
Storm的WordCount案例spout bolt详细总结 实现接口IRich IBASE区别
spout介绍 一个spout是由流组成的数据源在storm的拓扑里,通常情况下会读取外部的数据源 然后emit(发射)到拓扑里面,比如是kafka,MySQL或者redis等等,Spout有两种实现一种是可靠的消息实现,如果发送失败则会重试,另外一种是不可靠的消息实现可能会出现消息丢失,spout可以一次声明多个数据流通过OutputFieldsDeclarer类的declareStream...原创 2018-08-15 15:42:38 · 1740 阅读 · 0 评论