Flink（Consumer）从Kafka读取数据

最新推荐文章于 2025-06-03 10:53:45 发布

原创最新推荐文章于 2025-06-03 10:53:45 发布 · 626 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #flink #大数据 #scala #hadoop

笔记专栏收录该内容

44 篇文章

订阅专栏

本文介绍如何使用 Apache Flink 连接 Kafka 进行数据流消费，通过 Scala 代码实现了一个简单的 Flink Kafka 消费器，该消费器订阅名为 clicks 的 Kafka 主题，并将接收到的消息打印出来。

import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.streaming.api.scala.{StreamExecutionEnvironment, createTypeInformation}
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer

import java.util.Properties

/**
* DATE:2022/10/3 21:49
* AUTHOR：GX
*/
object SourceKafkaTest {
def main(args: Array[String]): Unit = {
val env = StreamExecutionEnvironment.getExecutionEnvironment
env.setParallelism(1)

//Kafka连接的相关配置
val properties = new Properties()
properties.setProperty("bootstrap.servers","master:9092")
properties.setProperty("group.id","consumer-group")

val stream = env.addSource(new FlinkKafkaConsumer[String]("clicks",
new SimpleStringSchema(), properties))

stream.print()

env.execute()

}
}

创建kafka生产者
bin/kafka-console-producer.sh --bootstrap-server master:9092 --topic clicks