u013560925的博客

背景对Event Time和WaterMark理解存在困惑，转载一篇很棒的文章。转载原文：http://vishnuviswanath.com/flink_eventtime.html翻译原文：https://blog.csdn.net/a6822342/article/details/78064815使用ProcessTime会导致延时到达的消息无法分配进入正确的窗口，使用 Ev...

目录一、状态类型1.基本类型划分2.组织形式划分3. 举例：托管的Keyed State二、State checkpoint1.Filesystem State Backend2.RocksDB State Backend3.Queryable State三、State 并行重分配1. Operator State2. Keyed State四、...

一、流式任务执行过程1.任务并行 按照自己的理解，一个流程如下图所示，除非经历shuffle过程，否则流程并行度将由source的并行度决定，比如kafka分区数目，shuffle之后的并行度，可能会改变，Operator子任务(Task)彼此独立，并且可以在不同的线程中执行，并且可能在不同的机器或容器上执行。2.OperatorChain 原理同Spark 的S...

背景        WaterMark (水印) 本质上是一个时间戳。当Flink中的运算符接收到水印时，它明白（假设）它不会看到比该时间戳更早的消息。因此，在“EventTime”中，水印也可以被认为是一种告诉Flink它有多远的一种方式，WaterMark还可以用来实现时间延迟。       本文主要涉及水印在单线程和分布式情况下的理解，基础知识和应用请看：Flink watermar...

转载原文：https://blog.csdn.net/lmalds/article/details/525395901、需求决定引擎选型根据马斯洛需求层次理论，可以将流处理引擎的需求分为以下几种层次： 1、持续性的流处理 2、低延迟的计算结果，亚秒级别的延迟 3、高效可扩展性，每秒百万级的吞吐量 4、容错性，即失败时的可恢复性 5、精确的可重复性 6、可查询性流处理就是在...

转载作者：写bug的张小天转载地址：https://www.jianshu.com/p/e6297fac67cbProcess Function(过程函数)ProcessFunction是一个低层次的流处理操作，允许返回所有(无环的)流程序的基础构建模块:　　1、事件(event)(流元素)　　2、状态(state)(容错性，一致性，仅在keyed stream中)　　3、定时器...

目录目录背景正文         State什么是State(状态)？State类型State理解State实战CheckPointing（1）介绍，实现方式分类（2） 使用Manage State，Flink自动实现state保存和恢复（3） 自定义state 自行实现实现checkpoint接口借鉴文章 背景           ...

问题：1. 在WindowsFunction中，获取窗口开始和结束时间与预设不符2. WindowsFunction函数不触发执行可能原因：1.时间格式问题：    错误：1536137348    正确：15361373480002.WindowsFunction中无返回值，导致函数无法结束...

转载原文：https://blog.csdn.net/lmalds/article/details/69267056转载作者：malds李麦迪很棒的文章，博主博文都很好，值得浏览正文1、简介流处理在实际生产中体现的价值越来越大，Apache Flink这个纯流式计算框架也正在被越来越多的公司所关注并尝试使用其流上的功能。在2017年波兰华沙大数据峰会上，有一家叫做GetIn...

原文地址：https://blog.csdn.net/lmalds/article/details/52692911正文1、session window简介Flink从1.1开始支持Session window，它是属于基于时间的窗口。这里以EventTime为例，基于时间的窗口，可以分为3种：TumblingEventTimeWindows，SlidingEventTimeWin...

 背景          Flink文档中介绍窗口、水印和触发器等功能偏理论，浏览之后对编程方式懵懵懂懂，故作如下练习，是一个基础Flink编程框架，并不是所有Flink程序都如下程序框架所述。         理解如下代码，需要正确理解Event Time和Watermark，可以浏览《Flink Event Time和WaterMark结合优势分析》 博文和《Flink Windo...

转载原文：https://blog.csdn.net/lmalds/article/details/51604501Apache Flink–DataStream–Window什么是Window？有哪些用途？ 下面我们结合一个现实的例子来说明。我们先提出一个问题：统计经过某红绿灯的汽车数量之和？ 假设在一个红绿灯处，我们每隔15秒统计一次通过此红绿灯的汽车数量，如下图：  可以把...