Storm框架
Master.TJ
https://github.com/fengruotj
展开
-
Apache Storm 实时流处理系统通信机制源码分析
我们今天就来仔细研究一下Apache Storm的通信机制。下面我将从大致思想以及源码分析,然后我们细致分析实时流处理系统中源码通信机制研究。1. 简介 Worker间的通信经常需要通过网络跨节点进行,Storm使用ZeroMQ或Netty(0.9以后默认使用)作为进程间通信的消息框架。Worker进程内部通信:不同worker的thread通信使用LMAX Disr...原创 2018-06-25 17:54:38 · 1051 阅读 · 0 评论 -
Apache Storm 实时流处理系统ACK机制以及源码分析
1.ACK机制简介 Storm的可靠性是指Storm会告知用户每一个消息单元是否在一个指定的时间(timeout)内被完全处理。完全处理的意思是该MessageId绑定的源Tuple以及由该源Tuple衍生的所有Tuple都经过了Topology中每一个应该到达的Bolt的处理。注: timetout 可以通过Config.TOPOLOGY_MESSAGE_TIMEOUT_SECS ...原创 2018-06-26 09:53:04 · 1705 阅读 · 0 评论