join_null的博客

1.自定义周期水印public class MyWaterMark implements AssignerWithPeriodicWatermarks<MyEvent> { private final long maxTimeLag = 3000; // 3 seconds @Override public long extractTimestamp(MyEvent element, long previousElementTimestamp) {

1.几个重要方法onElement方法 ，每有一个元素过来都会被调用onProcessTime 方法，只要有一个元素过来，等到窗口最大滚动时间到，就会自动调用onEventTime 方法，必须在onElement方法中，在有元素到来时，通过context的ctx.registerEventTimeTimer(window.maxTimestamp());方法注册一个以当前窗口最大时间戳为时间的定时器（注册定时可以参看flink的默认触发器EventTimeTrigger类）。并且还要水印时

Flink之状态之状态存储 state backends流计算中可能有各种方式来保存状态：窗口操作 使用 了KV操作的函数 继承了CheckpointedFunction的函数当开始做checkpointing的时候，状态会被持久化到checkpoints里来规避数据丢失和状态恢复。选择的状态存储策略不同，会导致状态持久化如何和checkpoints交互。1.可用的状态持久化策略...

FlinkFixedPartitioner源码：package org.apache.flink.streaming.connectors.kafka.partitioner; import org.apache.flink.util.Preconditions; public class FlinkFixedPartitioner<T> extends FlinkKaf...

https://www.jianshu.com/p/7ec404b020c4

在学习flink的时候看了本书《Stream Processing with Apache Flink》。里面对Flink checkpoint的原理讲得挺清楚的，后面内部分享时也参考了这个说法，所以这里按照我的理解描述一下。首先，flink的checkpoint并不是将Subtask或者UDF对象进行序列化，然后保存。他们确实实现了Serializable接口，但是是为了要在Client，J...

https://blog.csdn.net/u014680720/article/details/100595003

https://blog.csdn.net/qq_33689414/article/details/94447732

https://ververica.cn/developers/how-to-do-real-time-counting/

1.分布式缓存https://blog.csdn.net/shenshouniu/article/details/844996552.

https://www.jianshu.com/p/eb2ce82f1ad0

https://www.jianshu.com/p/a09827b1d6dahttps://blog.csdn.net/hellojoy/article/details/96348774

flink指标种类Gauge —— 最简单的度量指标，只是简单的返回一个值，比如返回一个队列中当前元素的个数；Counter —— 计数器，在一些情况下，会比Gauge高效，比如通过一个AtomicLong变量来统计一个队列的长度；Meter —— 吞吐量的度量，也就是一系列事件发生的速率，例如TPS；Histogram —— 度量值的统计结果，如最大值、最小值、平均值，以及分布情况等。...

flink最主要的配置参数设置：1、Jobmanager总共能使用的内存大小(jobmanager.heap.size)2、TaskManager总共能使用的内存大小（taskmanager.heap.size）3、每一台机器上能使用的 CPU 个数（taskmanager.numberOfTaskSlots）4、集群中的总 CPU个数（parallelism.default）5、临...