CoProcessFunction实战三部曲之二：状态处理

总结：绘上一张Kakfa架构思维大纲脑图（xmind）

其实关于Kafka，能问的问题实在是太多了，扒了几天，最终筛选出44问：基础篇17问、进阶篇15问、高级篇12问，个个直戳痛点，不知道如果你不着急看答案，又能答出几个呢？

若是对Kafka的知识还回忆不起来，不妨先看我手绘的知识总结脑图（xmind不能上传，文章里用的是图片版）进行整体架构的梳理

梳理了知识，刷完了面试，如若你还想进一步的深入学习解读kafka以及源码，那么接下来的这份《手写“kafka”》将会是个不错的选择。

• Kafka入门

• 为什么选择Kafka

• Kafka的安装、管理和配置

• Kafka的集群

• 第一个Kafka程序

• Kafka的生产者

• Kafka的消费者

• 深入理解Kafka

• 可靠的数据传递

• Spring和Kafka的整合

• SpringBoot和Kafka的整合

• Kafka实战之削峰填谷

• 数据管道和流式处理(了解即可)

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

1. 字符串转Tuple2的Map函数，以及抽象类AbstractCoProcessFunctionExecutor都和上一篇《CoProcessFunction实战三部曲之一：基本功能》一模一样；

2. 新增AbstractCoProcessFunctionExecutor的子类AddTwoSourceValue.java，源码如下，稍后会说明几个关键点：

package com.bolingcavalry.coprocessfunction;

import org.apache.flink.api.common.state.ValueState;

import org.apache.flink.api.common.state.ValueStateDescriptor;

import org.apache.flink.api.java.tuple.Tuple2;

import org.apache.flink.configuration.Configuration;

import org.apache.flink.streaming.api.functions.co.CoProcessFunction;

import org.apache.flink.util.Collector;

import org.slf4j.Logger;

import org.slf4j.LoggerFactory;

/**

• @author will

• @email zq2599@gmail.com

• @date 2020-11-11 09:48

• @description 功能介绍

*/

public class AddTwoSourceValue extends AbstractCoProcessFunctionExecutor {

private static final Logger logger = LoggerFactory.getLogger(AddTwoSourceValue.class);

@Override

protected CoProcessFunction<Tuple2<String, Integer>, Tuple2<String, Integer>, Tuple2<String, Integer>> getCoProcessFunctionInstance() {

return new CoProcessFunction<Tuple2<String, Integer>, Tuple2<String, Integer>, Tuple2<String, Integer>>() {

// 某个key在processElement1中存入的状态

private ValueState state1;

// 某个key在processElement2中存入的状态

private ValueState state2;

@Override

public void open(Configuration parameters) throws Exception {

// 初始化状态

state1 = getRuntimeContext().getState(new ValueStateDescriptor<>(“myState1”, Integer.class));

state2 = getRuntimeContext().getState(new ValueStateDescriptor<>(“myState2”, Integer.class));

}

@Override

public void processElement1(Tuple2<String, Integer> value, Context ctx, Collector<Tuple2<String, Integer>> out) throws Exception {

logger.info(“处理元素1：{}”, value);

String key = value.f0;

Integer value2 = state2.value();

// value2为空，就表示processElement2还没有处理或这个key，

// 这时候就把value1保存起来

if(null==value2) {

logger.info(“2号流还未收到过[{}]，把1号流收到的值[{}]保存起来”, key, value.f1);

state1.update(value.f1);

} else {

logger.info(“2号流收到过[{}]，值是[{}]，现在把两个值相加后输出”, key, value2);

// 输出一个新的元素到下游节点

out.collect(new Tuple2<>(key, value.f1 + value2));

// 把2号流的状态清理掉

state2.clear();

}

}

@Override

public void processElement2(Tuple2<String, Integer> value, Context ctx, Collector<Tuple2<String, Integer>> out) throws Exception {

logger.info(“处理元素2：{}”, value);

String key = value.f0;

Integer value1 = state1.value();

// value1为空，就表示processElement1还没有处理或这个key，

// 这时候就把value2保存起来

if(null==value1) {

logger.info(“1号流还未收到过[{}]，把2号流收到的值[{}]保存起来”, key, value.f1);

state2.update(value.f1);

} else {

logger.info(“1号流收到过[{}]，值是[{}]，现在把两个值相加后输出”, key, value1);

// 输出一个新的元素到下游节点

out.collect(new Tuple2<>(key, value.f1 + value1));

// 把1号流的状态清理掉

state1.clear();

}

}

};

}

public static void main(String[] args) throws Exception {

new AddTwoSourceValue().execute();

}

}

3. 关键点之一：对于aaa这个key，无法确定会先出现在一号源还是二号源，如果先出现在一号源，就应该在processElement1中将value保存在state1中，这样等到aaa再次出现在二号源时，processElement2就可以从state1中取出一号源的value，相加后输出到下游；

4. 关键点之二：如果输出到下游，就表示数据已经处理完毕，此时要把保存的状态清理掉；

5. 如果您想了解低阶函数中的状态存取的更多细节，请参考《深入了解ProcessFunction的状态操作(Flink-1.10)》

验证

1. 分别开启本机的9998和9999端口，我这里是MacBook，执行nc -l 9998和nc -l 9999

2. 启动Flink应用，如果您和我一样是Mac电脑，直接运行AddTwoSourceValue.main方法即可（如果是windows电脑，我这没试过，不过做成jar在线部署也是可以的）；

3. 在监听9998端口的控制台输入aaa,111，此时flink控制台输出如下，可见processElement1方法中，读取state2为空，表示aaa在二号流还未出现过，此时的aaa是首次出现，应该放入state中保存：

22:35:12,135 INFO AddTwoSourceValue - 处理元素1：(aaa,111)

22:35:12,136 INFO AddTwoSourceValue - 2号流还未收到过[aaa]，把1号流收到的值[111]保存起来

4. 在监听9999端口的控制台输入bbb,123，flink日志如下所示，表示bbb也是首次出现，把值保存在state中：

22:35:34,473 INFO AddTwoSourceValue - 处理元素2：(bbb,123)

总结

这个月马上就又要过去了，还在找工作的小伙伴要做好准备了，小编整理了大厂java程序员面试涉及到的绝大部分面试题及答案，希望能帮助到大家

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

程序员面试涉及到的绝大部分面试题及答案，希望能帮助到大家

[外链图片转存中…(img-nSmRwnyH-1715823569415)]

[外链图片转存中…(img-431PDsCL-1715823569416)]

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取