Flink读取Kafka数据，进行流处理APi操作（wordcount，分流，合流）

最新推荐文章于 2024-08-02 02:43:38 发布

struggle@徐磊

最新推荐文章于 2024-08-02 02:43:38 发布

阅读量2.2k

点赞数

分类专栏： Flink 文章标签： flink kafka

本文链接：https://blog.csdn.net/qq_44472134/article/details/104200243

版权

本文详细介绍了如何使用Flink从Kafka读取数据，并进行流处理操作。首先，讨论了所需的pom文件依赖，包括Flink与Kafka的整合及JSON转换库。接着，通过`keyBy()`和`reduce()`实现词频统计。然后，利用`split`和`select`进行数据分流，并展示了分流结果。最后，通过`connect`、`map`和`union`实现了数据的合流操作。

摘要由CSDN通过智能技术生成

文章目录

一、pom文件
二、将Kafka作为数据源，通过Flink进行词频统计关键词：keyBy() reduce()
三、通过split和select进行分流
四、通过 connect map和union 进行合流

一、pom文件

Finl跟Kafka结合的包

 <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka-0.11_2.11</artifactId>    <!--kafka版本是0.11   scala版本是2.11-->
            <version>1.7.0</version>                                                  <!--flink版本是1.7.0-->
        </dependency>

將json轉換成對象的依賴

<dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.47</version>
        </dependency>

剩下做需要的包，我在文章： https://blog.csdn.net/qq_44472134/article/details/104193662 中的《API操作》中提过，不知道的可以到这个网址上看看

二、将Kafka作为数据源，通过Flink进行词频统计关键词：keyBy() reduce()

kafkaUtil工具类

package com.kafkautil

import java.util.Properties

import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer011

/**
 * TODO
 *
 * @author 徐磊
 * @email wc199608203213@136.com
 * @data2020/02/06 下午 06:27
 */
object KafkaUtil {
    val prop = new Properties()
  prop.setProperty("bootstrap.servers","no