Flink处理函数实战之四：窗口处理

如何实战ProcessAllWindowFunction

接下来通过以下方式验证ProcessAllWindowFunction功能：

1. 每隔1秒发出一个Tuple2<String, Integer>对象，对象的f0字段在aaa和bbb之间变化，f1字段固定为1；

2. 设置5秒的滚动窗口；

3. 自定义ProcessAllWindowFunction扩展类，功能是统计每个窗口内元素的数量，将统计结果发给下游算子；

4. 下游算子将统计结果打印出来；

5. 核对发出的数据和统计信息，看是否一致；

开始编码

1. 继续使用《Flink处理函数实战之二：ProcessFunction类》一文中创建的工程flinkstudy；

2. 新建ProcessAllWindowFunctionDemo类，如下：

package com.bolingcavalry.processwindowfunction;

import org.apache.flink.api.java.tuple.Tuple2;

import org.apache.flink.streaming.api.TimeCharacteristic;

import org.apache.flink.streaming.api.datastream.DataStream;

import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

import org.apache.flink.streaming.api.functions.source.SourceFunction;

import org.apache.flink.streaming.api.functions.windowing.ProcessAllWindowFunction;

import org.apache.flink.streaming.api.functions.windowing.ProcessWindowFunction;

import org.apache.flink.streaming.api.windowing.time.Time;

import org.apache.flink.streaming.api.windowing.windows.TimeWindow;

import org.apache.flink.util.Collector;

import java.text.SimpleDateFormat;

import java.util.Date;

public class ProcessAllWindowFunctionDemo {

public static void main(String[] args) throws Exception {

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

// 使用事件时间

env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime);

// 并行度为1

env.setParallelism(1);

// 设置数据源，一共三个元素

DataStream<Tuple2<String,Integer>> dataStream = env.addSource(new SourceFunction<Tuple2<String, Integer>>() {

@Override

public void run(SourceContext<Tuple2<String, Integer>> ctx) throws Exception {

for(int i=1; i<Integer.MAX_VALUE; i++) {

// 只有aaa和bbb两种name

String name = 0==i%2 ? “aaa” : “bbb”;

// 使用当前时间作为时间戳

long timeStamp = System.currentTimeMillis();

// 将数据和时间戳打印出来，用来验证数据

System.out.println(String.format(“source，%s, %s\n”,

name,

time(timeStamp)));

// 发射一个元素，并且带上了时间戳

ctx.collectWithTimestamp(new Tuple2<String, Integer>(name, 1), timeStamp);

// 每发射一次就延时1秒

Thread.sleep(1000);

}

}

@Override

public void cancel() {

}

});

// 将数据用5秒的滚动窗口做划分，再用ProcessAllWindowFunction

SingleOutputStreamOperator mainDataStream = dataStream

// 5秒一次的滚动窗口

.timeWindowAll(Time.seconds(5))

// 统计当前窗口内的元素数量，然后把数量、窗口起止时间整理成字符串发送给下游算子

.process(new ProcessAllWindowFunction<Tuple2<String, Integer>, String, TimeWindow>() {

@Override

public void process(Context context, Iterable<Tuple2<String, Integer>> iterable, Collector collector) throws Exception {

int count = 0;

// iterable可以访问当前窗口内的所有数据，

// 这里简单处理，只统计了元素数量

for (Tuple2<String, Integer> tuple2 : iterable) {

count++;

}

// 将当前窗口的起止时间和元素数量整理成字符串

String value = String.format(“window, %s - %s, %d\n”,

// 当前窗口的起始时间

time(context.window().getStart()),

// 当前窗口的结束时间

time(context.window().getEnd()),

// 当前key在当前窗口内元素总数

count);

// 发射到下游算子

collector.collect(value);

}

});

// 打印结果，通过分析打印信息，检查ProcessWindowFunction中可以处理所有key的整个窗口的数据

mainDataStream.print();

env.execute(“processfunction demo : processallwindowfunction”);

}

public static String time(long timeStamp) {

return new SimpleDateFormat(“hh:mm:ss”).format(new Date(timeStamp));

}

}

3. 关于ProcessAllWindowFunctionDemo，有几点需要注意：

a. 滚动窗口设置用timeWindowAll方法；

b. ProcessAllWindowFunction的匿名子类的process方法中，context.window().getStart()方法可以取得当前窗口的起始时间，getEnd()方法可以取得当前窗口的结束时间；

4. 编码结束，执行ProcessAllWindowFunctionDemo类验证数据，如下图，检查其中一个窗口的元素详情和ProcessAllWindowFunction执行结果，可见符合预期：

5. ProcessAllWindowFunction已经了解，接下来尝试ProcessWindowFunction；

如何实战ProcessWindowFunction

接下来通过以下方式验证ProcessWindowFunction功能：

1. 每隔1秒发出一个Tuple2<String, Integer>对象，对象的f0字段在aaa和bbb之间变化，f1字段固定为1；

2. 以f0字段为key进行分区；

3. 分区后的数据进入5秒的滚动窗口；

4. 自定义ProcessWindowFunction扩展类，功能之一是统计每个key在每个窗口内元素的数量，将统计结果发给下游算子；

5. 功能之二是在更新当前key的元素总量，然后在状态后端(backend)保存，这是验证KeyedStream在处理函数中的状态读写能力；

6. 下游算子将统计结果打印出来；

7. 核对发出的数据和统计信息（每个窗口的和总共的分别核对），看是否一致；

开始编码

1. 新建ProcessWindowFunctionDemo.java：

package com.bolingcavalry.processwindowfunction;

import org.apache.flink.api.common.state.ValueState;

import org.apache.flink.api.common.state.ValueStateDescriptor;

import org.apache.flink.api.java.tuple.Tuple2;

import org.apache.flink.configuration.Configuration;

import org.apache.flink.streaming.api.TimeCharacteristic;

import org.apache.flink.streaming.api.datastream.DataStream;

import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

import org.apache.flink.streaming.api.functions.source.SourceFunction;

import org.apache.flink.streaming.api.functions.windowing.ProcessWindowFunction;

import org.apache.flink.streaming.api.windowing.time.Time;

import org.apache.flink.streaming.api.windowing.windows.TimeWindow;

import org.apache.flink.util.Collector;

import java.text.SimpleDateFormat;

import java.util.Date;

public class ProcessWindowFunctionDemo {

public static void main(String[] args) throws Exception {

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

// 使用事件时间

env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime);

// 并行度为1

env.setParallelism(1);

// 设置数据源，一共三个元素

DataStream<Tuple2<String,Integer>> dataStream = env.addSource(new SourceFunction<Tuple2<String, Integer>>() {

@Override

public void run(SourceContext<Tuple2<String, Integer>> ctx) throws Exception {

int aaaNum = 0;

int bbbNum = 0;

for(int i=1; i<Integer.MAX_VALUE; i++) {

// 只有aaa和bbb两种name

String name = 0==i%2 ? “aaa” : “bbb”;

//更新aaa和bbb元素的总数

if(0==i%2) {

aaaNum++;

} else {

bbbNum++;

}

// 使用当前时间作为时间戳

long timeStamp = System.currentTimeMillis();

// 将数据和时间戳打印出来，用来验证数据

System.out.println(String.format(“source，%s, %s, aaa total : %d, bbb total : %d\n”,

name,

time(timeStamp),

aaaNum,

bbbNum));

// 发射一个元素，并且戴上了时间戳

ctx.collectWithTimestamp(new Tuple2<String, Integer>(name, 1), timeStamp);

// 每发射一次就延时1秒

Thread.sleep(1000);

}

}

@Override

public void cancel() {

}

});

// 将数据用5秒的滚动窗口做划分，再用ProcessWindowFunction

SingleOutputStreamOperator mainDataStream = dataStream

// 以Tuple2的f0字段作为key，本例中实际上key只有aaa和bbb两种

.keyBy(value -> value.f0)

// 5秒一次的滚动窗口

.timeWindow(Time.seconds(5))

// 统计每个key当前窗口内的元素数量，然后把key、数量、窗口起止时间整理成字符串发送给下游算子

.process(new ProcessWindowFunction<Tuple2<String, Integer>, String, String, TimeWindow>() {

// 自定义状态

private ValueState state;

最后

最后，强调几点：

• 1. 一定要谨慎对待写在简历上的东西，一定要对简历上的东西非常熟悉。因为一般情况下，面试官都是会根据你的简历来问的； 能有一个上得了台面的项目也非常重要，这很可能是面试官会大量发问的地方，所以在面试之前好好回顾一下自己所做的项目；
• 2. 和面试官聊基础知识比如设计模式的使用、多线程的使用等等，可以结合具体的项目场景或者是自己在平时是如何使用的；
• 3. 注意自己开源的Github项目，面试官可能会挖你的Github项目提问；

我个人觉得面试也像是一场全新的征程，失败和胜利都是平常之事。所以，劝各位不要因为面试失败而灰心、丧失斗志。也不要因为面试通过而沾沾自喜，等待你的将是更美好的未来，继续加油！

以上面试专题的答小编案整理成面试文档了，文档里有答案详解，以及其他一些大厂面试题目。

面试答案

简历来问的； 能有一个上得了台面的项目也非常重要，这很可能是面试官会大量发问的地方，所以在面试之前好好回顾一下自己所做的项目；

• 2. 和面试官聊基础知识比如设计模式的使用、多线程的使用等等，可以结合具体的项目场景或者是自己在平时是如何使用的；
• 3. 注意自己开源的Github项目，面试官可能会挖你的Github项目提问；

我个人觉得面试也像是一场全新的征程，失败和胜利都是平常之事。所以，劝各位不要因为面试失败而灰心、丧失斗志。也不要因为面试通过而沾沾自喜，等待你的将是更美好的未来，继续加油！

以上面试专题的答小编案整理成面试文档了，文档里有答案详解，以及其他一些大厂面试题目。

面试答案

[外链图片转存中…(img-OFjzGIJ1-1714291426167)]

[外链图片转存中…(img-NcCOb9wL-1714291426168)]

[外链图片转存中…(img-vzZcbxCq-1714291426168)]

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录