storm
aBOUNTWINTER
这个作者很懒,什么都没留下…
展开
-
storm-并行度
什么让 topology(拓扑)可以运行 worker 进程, executors(执行器)和 tasks(任务)。 一个 worker 进程 执行一个 topology(拓扑)的子集. 一个 worker 进程属于一个指定 topology(拓扑)。 并且针对该 topology 的一个或多个组件(spouts 或 bolts)来说会运行一个或更多的 executors(执行器)。 一个原创 2017-11-26 10:19:30 · 313 阅读 · 0 评论 -
storm-窗口
1. 简介 Storm可同时处理窗口内的所有tuple。窗口可以从时间或数量上来划分,由如下两个因素决定: 窗口的长度,可以是时间或Tuple数量;滑动间隔(sliding Interval),同样也可以是时间或Tuple数量,后面Sliding Window中介绍; 2. Window 2.1 Tumbling Window 按照固定的时间间隔或者Tuple数量划分窗口。下面例子就原创 2017-11-25 18:32:57 · 566 阅读 · 0 评论 -
storm-组件
Bolt bolt的主要方法: declareOutputFileds(OutputFieldsDeclarer declarer) ; prepare(Map conf,TopologyContext context,OutputCollector collector); 仅在Bolt开始处理Tuple之前调用; execute(Tuple input);处理一个bolt的输入 cle原创 2017-11-24 09:36:00 · 323 阅读 · 0 评论 -
storm-ACK的实现原理
异或运行基本原理 异或xor也叫半加运行,其运行法则相当于不带进位的二进制加法: 0 xor 0=0 1 xor 1 = 0 0 xor 1 =1 1 xor 0= 1 异或运行特性 1.交换律 a xor b=b xor a 2.结合律 a xor (b xor c)= (a xor b) xor c 3.自反性 a xor a=0 a xor b xor b=a原创 2017-11-22 16:27:13 · 542 阅读 · 0 评论