Storm窗口机制

本文介绍了Apache Storm的窗口机制,包括Tumbling Window和Sliding Window的概念,详细阐述了Event time和Process time的区别,以及如何处理时间戳字段、延时(lag)和水位线(watermark)来应对数据乱序问题。
摘要由CSDN通过智能技术生成

1. 简介

Storm可同时处理窗口内的所有tuple。窗口可以从时间或数量上来划分,由如下两个因素决定:

  1. 窗口的长度,可以是时间或Tuple数量;
  2. 滑动间隔(sliding Interval),同样也可以是时间或Tuple数量,后面Sliding Window中介绍;

2. Window

2.1 Tumbling Window

按照固定的时间间隔或者Tuple数量划分窗口。下面例子就是5秒砍一个窗口:

| e1 e2 | e3 e4 e5 e6 | e7 e8 e9 |...
0       5             10         15    -> time
   w1         w2            w3

PS:根本不知道怎么翻译啊,MD,滚动窗口?

2.2 Sliding Window

滑动窗口,这个还是上图比较清晰。假设10s一个窗口,滑动5s,效果就这样了:

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值