2018年09月_宇毅

09月

原创 Flink Stream Windows Join

Flink Stream Windows Join1. 说明参考Flink Stream Joining。不过就我实践下来，感觉这官方文档写的也不全面，所以我就来填填坑的。文中给出Windows Join的代码一般形式如下：stream.join(otherStream) .where(&amp;lt;KeySelector&amp;gt;) .equalTo(&amp;lt;KeySelector...

2018-09-17 22:41:26 7695 1

原创 Flink countWindow 使用

1. 说明countWindows 包括滚动窗口类型和滑动窗口类型。以下通过代码和输出来说明 countWindows()逻辑。数据源代码： public static class StreamDataSource extends RichParallelSourceFunction&lt;Tuple2&lt;String, String&gt;&gt; { pr...

2018-09-16 16:55:21 9712 1

原创 Flink 静态 Session Windows 使用

1. 介绍参考Session Windows。此外也可阅读Flink 原理与实现：Session Window。以下是正文：会话窗口分配器按活动会话对元素进行分组。与翻滚窗口和滑动窗口相比，会话窗口不重叠并且没有固定的开始和结束时间。当会话窗口在一段时间内没有接收到元素时，即当发生不活动的间隙时，会话窗口关闭。会话窗口分配器可以设置静态会话间隙和动态会话间隙。一共有四种形式的 Sess...

2018-09-15 22:03:59 4909

原创 Flink DataSet Kafka Sink

1. 说明Flink 一般都是用于realtime 计算的，不过其中的 DataSet 也提供了batch API。本人在项目中也好奇试用了下，其中遇到一个需求就是把DataSet的数据Sink到 Kafka。需要注意的是Flink 官方的DataSet是不提供Kafka Sink API的，需要自己实现。当然也分 DataSet 数据量的大小，有不同的实现方式。2. 小数据量这个...

2018-09-08 21:39:24 3966

原创 Flink 中 timeWindow 滚动窗口边界和数据延迟问题调研

1. 说明好久不写 CSDN blog，早转战Gitbook的。这次记录文章同时，顺带刷下存在感。下面进入正题：本文主要关于Flink timeWindow 窗口边界和以及延时数据处理的调研。读这篇文章需要对Flink Eventtime + WaterMark + Windows 机制有个基础了解。其次最好先阅读Flink流计算编程–watermark（水位线）简介这篇文章。本文是在阅...

2018-09-05 10:18:36 15227 8