flink
sonice_l
Life is about trade-offs.
展开
-
Flink CEP 对超时事件的处理
今天在群里面有一个同学问了一个问题,“一个通用场景,例如:用户2小时不评价订单,自动好评功能。“这种多长时间内没有收到第二个事件的问题,想了一下以为可以用notFollowedBy 来解决,结果不行。 查了一下文档, 写了下面一个demo,记录一下,备忘final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExec原创 2017-12-06 17:07:00 · 4342 阅读 · 3 评论 -
Flink checkpointing 耗时很长
官方有提供checkpointing debug建议。https://ci.apache.org/projects/flink/flink-docs-release-1.4/ops/state/large_state_tuning.html现在遇到过的情况列举如下:通过成功的checkpointing历史记录,查看start delay时间,推断出现在系统有背压。第一次checkpointing就...原创 2018-04-03 11:26:26 · 2640 阅读 · 0 评论 -
Flink window ReduceFunction 在一个事件到来的时候被触发多次
今天有一个同学在群里面问了如下一个问题:“每输入条记录,都会立即执行四次。。”------因为一直都是用的event time + watermark的方式来做的流,不太清楚他这个情况。一度以为是事件被复制了多份,导致了窗口Function被触发多次。后来看了一下源码,发现这个问题其实很简单。reduce function跟普通的function不一样,需要等待窗口内的所有数据到齐之后再开始计算。...原创 2018-05-16 16:59:17 · 6527 阅读 · 2 评论