CoProcessFunction实战三部曲之二：状态处理(1)，写的太详细了

最新推荐文章于 2024-04-01 07:22:38 发布

2401_83740189

最新推荐文章于 2024-04-01 07:22:38 发布

阅读量559

点赞数 19

分类专栏： 2024年程序员学习文章标签： java 服务器前端

本文链接：https://blog.csdn.net/2401_83740189/article/details/137212857

版权

2024年程序员学习专栏收录该内容

288 篇文章 1 订阅

订阅专栏

@author will
@email zq2599@gmail.com
@date 2020-11-11 09:48
@description 功能介绍

public class AddTwoSourceValue extends AbstractCoProcessFunctionExecutor {

private static final Logger logger = LoggerFactory.getLogger(AddTwoSourceValue.class);

@Override

protected CoProcessFunction<Tuple2<String, Integer>, Tuple2<String, Integer>, Tuple2<String, Integer>> getCoProcessFunctionInstance() {

return new CoProcessFunction<Tuple2<String, Integer>, Tuple2<String, Integer>, Tuple2<String, Integer>>() {

// 某个key在processElement1中存入的状态

private ValueState state1;

// 某个key在processElement2中存入的状态

private ValueState state2;

@Override

public void open(Configuration parameters) throws Exception {

// 初始化状态

state1 = getRuntimeContext().getState(new ValueStateDescriptor<>(“myState1”, Integer.class));

state2 = getRuntimeContext().getState(new ValueStateDescriptor<>(“myState2”, Integer.class));

}

@Override

public void processElement1(Tuple2<String, Integer> value, Context ctx, Collector<Tuple2<String, Integer>> out) throws Exception {

logger.info(“处理元素1：{}”, value);

String key = value.f0;

Integer value2 = state2.value();

// value2为空，就表示processElement2还没有处理或这个key，

// 这时候就把value1保存起来

if(null==value2) {

logger.info(“2号流还未收到过[{}]，把1号流收到的值[{}]保存起来”, key, value.f1);

state1.update(value.f1);

} else {

logger.info(“2号流收到过[{}]，值是[{}]，现在把两个值相加后输出”, key, value2);

// 输出一个新的元素到下游节点

out.collect(new Tuple2<>(key, value.f1 + value2));

// 把2号流的状态清理掉

state2.clear();

}

@Override

public void processElement2(Tuple2<String, Integer> value, Context ctx, Collector<Tuple2<String, Integer>> out) throws Exception {

logger.info(“处理元素2：{}”, value);

String key = value.f0;

Integer value1 = state1.value();

// value1为空，就表示processElement1还没有处理或这个key，

// 这时候就把value2保存起来

if(null==value1) {

logger.info(“1号流还未收到过[{}]，把2号流收到的值[{}]保存起来”, key, value.f1);

state2.update(value.f1);

} else {

logger.info(“1号流收到过[{}]，值是[{}]，现在把两个值相加后输出”, key, value1);

// 输出一个新的元素到下游节点

out.collect(new Tuple2<>(key, value.f1 + value1));

// 把1号流的状态清理掉

state1.clear();

}

};

}

public static void main(String[] args) throws Exception {

new AddTwoSourceValue().execute();

}

关键点之一：对于aaa这个key，无法确定会先出现在一号源还是二号源，如果先出现在一号源，就应该在processElement1中将value保存在state1中，这样等到aaa再次出现在二号源时，processElement2就可以从state1中取出一号源的value，相加后输出到下游；
关键点之二：如果输出到下游，就表示数据已经处理完毕，此时要把保存的状态清理掉；
如果您想了解低阶函数中的状态存取的更多细节，请参考《深入了解ProcessFunction的状态操作(Flink-1.10)》

验证

分别开启本机的9998和9999端口，我这里是MacBook，执行nc -l 9998和nc -l 9999
启动Flink应用，如果您和我一样是Mac电脑，直接运行AddTwoSourceValue.main方法即可（如果是windows电脑，我这没试过，不过做成jar在线部署也是可以的）；
在监听9998端口的控制台输入aaa,111，此时flink控制台输出如下，可见processElement1方法中，读取state2为空，表示aaa在二号流还未出现过，此时的aaa是首次出现，应该放入state中保存：

22:35:12,135 INFO AddTwoSourceValue - 处理元素1：(aaa,111)

22:35:12,136 INFO AddTwoSourceValue - 2号流还未收到过[aaa]，把1号流收到的值[111]保存起来