![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
文章平均质量分 82
冰雪_ang
人生恰似风前絮,欢也零星,悲也零星,都做连江浮点萍。
展开
-
Flink 接收BufferOrEvent数据处理源码解析
flink 接收数据之后的处理流程源码解析原创 2022-09-03 13:19:33 · 867 阅读 · 0 评论 -
flink reduce详解
背景:flink有两种reduce的方式,一种是正常的reduce,一种是windows窗口的reduce,本文主要介绍两种reduce方式的区别1、正常的reduce1.1 代码示例val resultResult = inputstream .keyBy(_.sensor_id) .reduce(new ReduceFunction[SensorReading] { override def reduce(t: SensorReading, t1: Sen原创 2021-03-05 17:49:30 · 7255 阅读 · 3 评论 -
Flink WaterMark和Lateness的工作原理
一、前言之前在做业务的时候,对于Flink对事件时间的处理原理进行过源码分析,但当时主要精力在业务上,并没有对flink内部的处理原理进行深入的分析和记录。并且当时对于WaterMark和Lateness的区别,并没有完全吃透,甚至可以说脑子里对这两个概念是一团浆糊,不知道已经有了WaterMark,为什么还要设置Lateness这个东西?因为WaterMark的设置就是为了处理乱序的数据,而Lateness的作用也是为了给乱序数据一个缓冲时间。最近闲来无事,再次深入flink的源码,想把这一块儿东西吃原创 2020-11-30 17:36:10 · 442 阅读 · 0 评论 -
flink web界面不显示watermark的问题
最近在搞flink的时候,发现一个小问题:1、当我把window窗口操作的并行度设置成150的时候,flink界面显示了当前的watermark值2、但是当我把window窗口操作的并行度设置成180的时候,flink界面不再显示watermark的值,显示为no watermark1、原因经过一番页面和源码追查,发现flink的web页面在访问服务的时候,请求的url不能超过4094字...原创 2019-11-09 11:09:31 · 3271 阅读 · 2 评论