Flink入门WordCount有界流处理实现

QYHuiiQ

已于 2023-04-04 21:42:49 修改

阅读量165

点赞数

分类专栏：大数据之Flink 文章标签： flink java 大数据

于 2023-04-04 21:42:35 首次发布

本文链接：https://blog.csdn.net/QYHuiiQ/article/details/129962523

版权

大数据之Flink 专栏收录该内容

13 篇文章 1 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了Flink入门级别的有界流处理实现WordCount的例子。在IDEA中运行程序，观察到由于流处理按事件逐条处理，导致相同单词可能多次输出，反映了其实时处理特性。此外，由于并行计算，默认使用本机CPU核心数作为并行度，输出结果前的数字标识线程号，反映出计算结果的无序性。

摘要由CSDN通过智能技术生成

前面的其他配置参考上一篇批处理中的配置，这里就只记录下类部分。

新建类：

package test.yh;

import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.KeyedStream;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

public class TestBoundedStreamingWordCount {

    public static void main(String[] args) throws Exception {

        //创建环境，与批处理不同的是这里使用的是Stream的
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();