Flink入门：读取Kafka实时数据流，实现WordCount

最新推荐文章于 2023-08-11 18:14:52 发布

皮皮鲁同学

最新推荐文章于 2023-08-11 18:14:52 发布

阅读量1.2k

点赞数

分类专栏： Flink原理与实践文章标签： flink kafka 大数据

本文链接：https://blog.csdn.net/qq_42596142/article/details/104325765

版权

本文主要介绍Flink接收一个Kafka文本数据流，进行WordCount词频统计，然后输出到标准输出上。通过本文你可以了解如何编写和运行Flink程序。
二维码

代码拆解

首先要设置Flink的执行环境：

// 创建Flink执行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

设置Kafka相关参数，连接对应的服务器和端口号，读取名为Shakespeare的Topic中的数据源，将数据源命名为stream：

// Kafka参数
Properties properties = new Properties();
properties.setProperty("bootstrap.servers", "localhost:9092");
properties.setProperty("group.id", "flink-group");
String inputTopic = "Shakespeare";
String outputTopic = "WordCount";

// Source
FlinkKafkaConsumer<String> consumer =
                new FlinkKafkaConsumer<String>