FLINK 1.12.2 读取KAFKA的2种方式

本文详细介绍了如何在FLINK 1.12.2中通过DataStream API和FlinkSQL两种方式读取Kafka数据。文章覆盖了相关依赖的引入,DataStream方式的执行环境创建、数据源设置及执行,以及FlinkSQL方式下创建执行环境、定义Kafka源表和数据打印。作者指出,虽然两种方法都能完成读取,但Flink SQL因其批流一体化和未来趋势成为更好的选择。
摘要由CSDN通过智能技术生成

目录

 

1.引入Kafka相关依赖

2.使用DataStream方式读取Kafka

1.创建Flink执行环境

2.创建kafka数据源并添加到执行环境中

3.执行

3.使用FlinkSQL方式读取Kafka

1.创建执行环境

2.创建kafka源表

3.打印

4.一点说明


1.引入Kafka相关依赖

无论哪种kafka读取方式,首先pom中要引入Flink的依赖

<dependency>

<groupId>org.apache.flink</groupId>

<artifactId>flink-clients_2.11</artifactId>

<version>1.12.2</version>

</dependency>

<dependency>

<groupId>org.apache.flink</groupId>

<artifactId>flink-java</artifactId>

<version>1.12.2</version>

</dependency>

<dependency>

<groupId>org.apache.flink</groupId>

<artifactId>flink-streaming-java_2.11</artifactId>

<version>1.12.2</version>

</dependency>

除此之外,还需要引入Flink-Connector-Kafka和kafka-clients的依赖

<dependency>

<groupId>com.fasterxml.jackson.core</groupId>

<artifactId>jackson-databind</artifactId>

<version>2.12.0</version>

</dependency>

<dependency>

<groupId>org.apache.kafka</groupId>

<artifactId>kafka-clients</artifactId>

<version>2.7.0</version>

</dependency>

<dependency>

<groupId>org.apache.flink</groupId>

<artifactId>flink-connector-kafka_2.11</artifactId>

<version>1.12.2</version>

</dependency>

若在Flink集群中运行则还需要将Flink-Connector-Kafka和kafka-clients的包放到Flink集群/lib下面,并重启Flink集群。

2.使用DataStream方式读取Kafka

根据Flink DataStream的编程模式:创建执行环境-创建数据源-转换-sink写入,实际上读取kafka只需要前面

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值