Flink原理：定时器

最新推荐文章于 2024-12-24 17:50:09 发布

Matty_Blog

最新推荐文章于 2024-12-24 17:50:09 发布

阅读量5.4k

点赞数 3

分类专栏： Flink

本文链接：https://blog.csdn.net/a1240466196/article/details/108334264

版权

本文详细介绍了Flink定时器的用途、示例和原理，包括注册、触发、延迟队列state及其注意事项。Flink定时器用于窗口触发和TTL等场景，其核心是借助优先级队列实现。注册时，ProcessingTime和EventTime类型的定时器会进入不同的队列，触发则由延时调度或Watermark负责。在任务重启时，Flink通过持久化队列数据确保定时任务的恢复。注意，为了线程安全，Flink对onTimer和processElement操作进行了同步处理。

摘要由CSDN通过智能技术生成

文章目录

1. 用途

Flink定时器存在于窗口的触发，TTL等诸多用途，因此搞清楚其原理对于理解这些知识点至关重要。

2. 示例

在flink实时处理中，涉及到延时处理可使用KeyedProcessFunction来完成，KeyedProcessFunction是flink提供面向用户的low level api，可以访问状态、当前的watermark或者当前的processingtime, 更重要的是提供了注册定时器的功能，分为：

注册处理时间定时器，直到系统的processingTime超过了注册的时间就会触发定时任务
注册事件时间定时器，直到watermark值超过了注册的时间就会触发定时任务另外也可以删除已经注册的定时器。

示例代码如下：

// 创建bean类CountWithTimestamp，里面有三个字段
package com.bolingcavalry.keyedprocessfunction;

public class CountWithTimestamp {
   
    public String key;
    public long count;
    public long lastModified;
}

// 创建FlatMapFunction的实现类Splitter，作用是将字符串分割后生成多个Tuple2实例，f0是分隔后的单词，f1等于1：
package com.bolingcavalry;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.util.Collector;
import org.apache.flink.util.StringUtils;

public class Splitter implements FlatMapFunction<String, Tuple2<String, Integer>> {
   
    @Override
    public void flatMap(String s, Collector<Tuple2<String, Integer>> collector) throws Exception {
   

        if(StringUtils.isNullOrWhitespaceOnly(s)) {
   
            System.out.println("invalid line");
            return;
        }

        for(String word : s.split(" ")) {
   
            collector.collect(new Tuple2<String, Integer>(word, 1));
        }
    }
}

// 最后是整个逻辑功能的主体：ProcessTime.java，这里面有自定义的KeyedProcessFunction子类，还有程序入口的main方法
package com.bolingcavalry.keyedprocessfunction;

import com.bolingcavalry.Splitter;
import org.apache.flink.api.common.state.ValueState;
import org.apache.flink.api.common.state.ValueStateDescriptor;
import org.apache.flink.api.java.tuple.Tuple;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.TimeCharacteristic;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.AssignerWithPeriodicWatermarks;
import org.apache.flink.streaming.api.functions.KeyedProcessFunction;
import org.apache.flink.streaming.api.watermark.Watermark;
import org.apache.flink.util.Collector;
import java.text.SimpleDateFormat;
import java.util.Date;


/**
 * @author will
 * @email zq2599@gmail.com
 * @date 2020-05-17 13:43
 * @description 体验KeyedProcessFunction类(时间类型是处理时间)
 */
public class ProcessTime {
   

    /**
     * KeyedProcessFunction的子类，作用是将每个单词最新出现时间记录到backend，并创建定时器，
     * 定时器触发的时候，检查这个单词距离上次出现是否已经达到10秒，如果是，就发射给下游算子
     */
    static class CountWithTimeoutFunction extends KeyedProcessFunction<Tuple, Tuple2<String, Integer>, Tuple2<String, Long>> {
   

        // 自定义状态
        private ValueState<CountWithTimestamp> state;

        @Override
        public void open(Configuration parameters) throws Exception {
   
            // 初始化状态，name是myState
            state = getRuntimeContext().getState(new ValueStateDescriptor<>("myState", Count

最低0.47元/天解锁文章