Flink处理函数实战之三：KeyedProcessFunction类

if(StringUtils.isNullOrWhitespaceOnly(s)) {

System.out.println(“invalid line”);

return;

}

for(String word : s.split(" ")) {

collector.collect(new Tuple2<String, Integer>(word, 1));

}

}

}

4. 最后是整个逻辑功能的主体：ProcessTime.java，这里面有自定义的KeyedProcessFunction子类，还有程序入口的main方法，代码在下面列出来之后，还会对关键部分做介绍：

package com.bolingcavalry.keyedprocessfunction;

import com.bolingcavalry.Splitter;

import org.apache.flink.api.common.state.ValueState;

import org.apache.flink.api.common.state.ValueStateDescriptor;

import org.apache.flink.api.java.tuple.Tuple;

import org.apache.flink.api.java.tuple.Tuple2;

import org.apache.flink.configuration.Configuration;

import org.apache.flink.streaming.api.TimeCharacteristic;

import org.apache.flink.streaming.api.datastream.DataStream;

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

import org.apache.flink.streaming.api.functions.AssignerWithPeriodicWatermarks;

import org.apache.flink.streaming.api.functions.KeyedProcessFunction;

import org.apache.flink.streaming.api.watermark.Watermark;

import org.apache.flink.util.Collector;

import java.text.SimpleDateFormat;

import java.util.Date;

/**

• @author will

• @email zq2599@gmail.com

• @date 2020-05-17 13:43

• @description 体验KeyedProcessFunction类(时间类型是处理时间)

*/

public class ProcessTime {

/**

• KeyedProcessFunction的子类，作用是将每个单词最新出现时间记录到backend，并创建定时器，

• 定时器触发的时候，检查这个单词距离上次出现是否已经达到10秒，如果是，就发射给下游算子

*/

static class CountWithTimeoutFunction extends KeyedProcessFunction<Tuple, Tuple2<String, Integer>, Tuple2<String, Long>> {

// 自定义状态

private ValueState state;

@Override

public void open(Configuration parameters) throws Exception {

// 初始化状态，name是myState

state = getRuntimeContext().getState(new ValueStateDescriptor<>(“myState”, CountWithTimestamp.class));

}

@Override

public void processElement(

Tuple2<String, Integer> value,

Context ctx,

Collector<Tuple2<String, Long>> out) throws Exception {

// 取得当前是哪个单词

Tuple currentKey = ctx.getCurrentKey();

// 从backend取得当前单词的myState状态

CountWithTimestamp current = state.value();

// 如果myState还从未没有赋值过，就在此初始化

if (current == null) {

current = new CountWithTimestamp();

current.key = value.f0;

}

// 单词数量加一

current.count++;

// 取当前元素的时间戳，作为该单词最后一次出现的时间

current.lastModified = ctx.timestamp();

// 重新保存到backend，包括该单词出现的次数，以及最后一次出现的时间

state.update(current);

// 为当前单词创建定时器，十秒后后触发

long timer = current.lastModified + 10000;

ctx.timerService().registerProcessingTimeTimer(timer);

// 打印所有信息，用于核对数据正确性

System.out.println(String.format(“process, %s, %d, lastModified : %d (%s), timer : %d (%s)\n\n”,

currentKey.getField(0),

current.count,

current.lastModified,

time(current.lastModified),

timer,

time(timer)));

}

/**

• 定时器触发后执行的方法

• @param timestamp 这个时间戳代表的是该定时器的触发时间

• @param ctx

• @param out

• @throws Exception

*/

@Override

public void onTimer(

long timestamp,

OnTimerContext ctx,

Collector<Tuple2<String, Long>> out) throws Exception {

// 取得当前单词

Tuple currentKey = ctx.getCurrentKey();

// 取得该单词的myState状态

CountWithTimestamp result = state.value();

// 当前元素是否已经连续10秒未出现的标志

boolean isTimeout = false;

// timestamp是定时器触发时间，如果等于最后一次更新时间+10秒，就表示这十秒内已经收到过该单词了，

// 这种连续十秒没有出现的元素，被发送到下游算子

if (timestamp == result.lastModified + 10000) {

// 发送

out.collect(new Tuple2<String, Long>(result.key, result.count));

isTimeout = true;

}

// 打印数据，用于核对是否符合预期

System.out.println(String.format(“ontimer, %s, %d, lastModified : %d (%s), stamp : %d (%s), isTimeout : %s\n\n”,

currentKey.getField(0),

result.count,

result.lastModified,

time(result.lastModified),

timestamp,

time(timestamp),

String.valueOf(isTimeout)));

}

}

public static void main(String[] args) throws Exception {

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

// 并行度1

env.setParallelism(1);

// 处理时间

env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime);

// 监听本地9999端口，读取字符串

DataStream socketDataStream = env.socketTextStream(“localhost”, 9999);

// 所有输入的单词，如果超过10秒没有再次出现，都可以通过CountWithTimeoutFunction得到

DataStream<Tuple2<String, Long>> timeOutWord = socketDataStream

// 对收到的字符串用空格做分割，得到多个单词

.flatMap(new Splitter())

// 设置时间戳分配器，用当前时间作为时间戳

.assignTimestampsAndWatermarks(new AssignerWithPeriodicWatermarks<Tuple2<String, Integer>>() {

@Override

public long extractTimestamp(Tuple2<String, Integer> element, long previousElementTimestamp) {

// 使用当前系统时间作为时间戳

return System.currentTimeMillis();

}

@Override

public Watermark getCurrentWatermark() {

// 本例不需要watermark，返回null

return null;

}

})

// 将单词作为key分区

.keyBy(0)

// 按单词分区后的数据，交给自定义KeyedProcessFunction处理

.process(new CountWithTimeoutFunction());

// 所有输入的单词，如果超过10秒没有再次出现，就在此打印出来

timeOutWord.print();

env.execute(“ProcessFunction demo : KeyedProcessFunction”);

}

public static String time(long timeStamp) {

return new SimpleDateFormat(“yyyy-MM-dd hh:mm:ss”).format(new Date(timeStamp));

}

}

上述代码有几处需要重点关注的：

1. 通过assignTimestampsAndWatermarks设置时间戳的时候，getCurrentWatermark返回null，因为用不上watermark；

2. processElement方法中，state.value()可以取得当前单词的状态，state.update(current)可以设置当前单词的状态，这个功能的详情请参考《深入了解ProcessFunction的状态操作(Flink-1.10)》；

3. registerProcessingTimeTimer方法设置了定时器的触发时间，注意这里的定时器是基于processTime，和官方demo中的eventTime是不同的；

4. 定时器触发后，onTimer方法被执行，里面有这个定时器的全部信息，尤其是入参timestamp，这是原本设置的该定时器的触发时间；

验证

1. 在控制台执行命令nc -l 9999，这样就可以从控制台向本机的9999端口发送字符串了；

2. 在IDEA上直接执行ProcessTime类的main方法，程序运行就开始监听本机的9999端口了；
   自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注：Java）

结局：总结+分享

看完美团、字节、腾讯这三家的一二三面试问题，是不是感觉问的特别多，可能咱们真的又得开启面试造火箭、工作拧螺丝的模式去准备下一次的面试了。

开篇有提及我可是足足背下了Java互联网工程师面试1000题，多少还是有点用的呢，换汤不换药，不管面试官怎么问你，抓住本质即可！能读到此处的都是真爱

• Java互联网工程师面试1000题

而且从上面三家来看，算法与数据结构是必备不可少的呀，因此我建议大家可以去刷刷这本左程云大佬著作的 《程序员代码面试指南 IT名企算法与数据结构题目最优解》，里面近200道真实出现过的经典代码面试题。

• 程序员代码面试指南–IT名企算法与数据结构题目最优解

• 其余像设计模式，建议可以看看下面这4份PDF（已经整理）

• 更多的Java面试学习笔记如下，关于面试这一块，我额外细分出Java基础-中级-高级开发的面试+解析，以及调优笔记等等等。。。

以上所提及的全部Java面试学习的PDF及笔记，如若皆是你所需要的，那么都可发送给你！

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
试题。

• 程序员代码面试指南–IT名企算法与数据结构题目最优解

[外链图片转存中…(img-XeEo7OdX-1713846270456)]

• 其余像设计模式，建议可以看看下面这4份PDF（已经整理）

[外链图片转存中…(img-r3iOVwat-1713846270456)]

• 更多的Java面试学习笔记如下，关于面试这一块，我额外细分出Java基础-中级-高级开发的面试+解析，以及调优笔记等等等。。。

[外链图片转存中…(img-BI1Ph1dD-1713846270456)]

以上所提及的全部Java面试学习的PDF及笔记，如若皆是你所需要的，那么都可发送给你！

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！