FLINK 1.12.2 读取KAFKA的2种方式

最新推荐文章于 2024-07-31 21:30:18 发布

arwenlin

最新推荐文章于 2024-07-31 21:30:18 发布

阅读量3.7k

点赞数 3

分类专栏： FLINK 1.12.2 学习实践记录文章标签： flink java kafka 大数据

本文链接：https://blog.csdn.net/arwenlin/article/details/117073737

版权

本文详细介绍了如何在FLINK 1.12.2中通过DataStream API和FlinkSQL两种方式读取Kafka数据。文章覆盖了相关依赖的引入，DataStream方式的执行环境创建、数据源设置及执行，以及FlinkSQL方式下创建执行环境、定义Kafka源表和数据打印。作者指出，虽然两种方法都能完成读取，但Flink SQL因其批流一体化和未来趋势成为更好的选择。

摘要由CSDN通过智能技术生成

1.引入Kafka相关依赖

2.使用DataStream方式读取Kafka

1.创建Flink执行环境

2.创建kafka数据源并添加到执行环境中

3.执行

3.使用FlinkSQL方式读取Kafka

1.引入Kafka相关依赖

无论哪种kafka读取方式，首先pom中要引入Flink的依赖

<dependency>

<groupId>org.apache.flink</groupId>

<artifactId>flink-clients_2.11</artifactId>

<version>1.12.2</version>

</dependency>

<dependency>

<groupId>org.apache.flink</groupId>

<artifactId>flink-java</artifactId>

<version>1.12.2</version>

</dependency>

<dependency>

<groupId>org.apache.flink</groupId>

<artifactId>flink-streaming-java_2.11</artifactId>

<version>1.12.2</version>

</dependency>

除此之外，还需要引入Flink-Connector-Kafka和kafka-clients的依赖

<dependency>

<groupId>com.fasterxml.jackson.core</groupId>

<artifactId>jackson-databind</artifactId>

<version>2.12.0</version>

</dependency>

<dependency>

<groupId>org.apache.kafka</groupId>

<artifactId>kafka-clients</artifactId>

<version>2.7.0</version>

</dependency>

<dependency>

<groupId>org.apache.flink</groupId>

<artifactId>flink-connector-kafka_2.11</artifactId>

<version>1.12.2</version>

</dependency>

若在Flink集群中运行则还需要将Flink-Connector-Kafka和kafka-clients的包放到Flink集群/lib下面，并重启Flink集群。