CoProcessFunction实战三部曲之一:基本功能,软件技术java工程师方向

本文介绍了如何使用Flink的CoProcessFunction处理来自两个不同数据源的数据。通过建立数据源,将接收到的字符串转换为Tuple2实例,并在CoProcessFunction中进行日志记录和传递到下游。示例应用展示了从9998和9999端口接收数据并将其打印的过程。文章提供了一个Map算子和一个抽象的CoProcessFunctionExecutor类,后者负责搭建Flink作业并执行业务逻辑。
摘要由CSDN通过智能技术生成
  • CoProcessFunction的作用是同时处理两个数据源的数据;

  • 试想在面对两个输入流时,如果这两个流的数据之间有业务关系,该如何编码实现呢,例如下图中的操作,同时监听9998和9999端口,将收到的输出分别处理后,再由同一个sink处理(打印):

在这里插入图片描述

  • Flink支持的方式是扩展CoProcessFunction来处理,为了更清楚认识,我们把KeyedProcessFunction和CoProcessFunction的类图摆在一起看,如下所示:

在这里插入图片描述

  • 从上图可见,CoProcessFunction和KeyedProcessFunction的继承关系一样,另外CoProcessFunction自身也很简单,在processElement1和processElement2中分别处理两个上游流入的数据即可,并且也支持定时器设置;

[](

)本篇实战功能简介

本篇咱们要开发的应用,其功能非常简单,描述如下:

  1. 建两个数据源,数据分别来自本地9998和9999端口;

  2. 每个端口收到类似aaa,123这样的数据,转成Tuple2实例,f0是aaa,f1是123;

  3. 在CoProcessFunction的实现类中,对每个数据源的数据都打日志,然后全部传到下游算子;

  4. 下游操作是打印,因此9998和9999端口收到的所有数据都会在控制台打印出来;

  5. 整个d

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值