Apache Kafka 是目前最流行的一个分布式的实时流消息系统,给下游订阅消费系统提供了并行处理和可靠容错机制,现在大公司在流式数据的处理场景,Kafka基本是标配。Structured Streaming很好的集成Kafka,可以从Kafka拉取消息,然后就可以把流数据看做一个DataFrame, 一张无限增长的大表,在这个大表上做查询,Structured Streaming保证了端到端的 exactly-once,用户只需要关心业务即可,不用费心去关心底层是怎么做的。
StructuredStreaming集成Kafka,官方文档如下:
structured-streaming-kafka-integration
目前仅支持Kafka 0.10.+版本及以上,底层使用Kafka New Consumer API拉取数据,如果公司Kafka版本为0.8.0版本,StructuredStreaming集成Kafka参考文档:
spark-kafka-0-8-sql
StructuredStreaming既可以从Kafka读取数据&#x
Spark(51) -- StructuredStreaming集成 Kafka
最新推荐文章于 2022-12-10 15:57:51 发布
本文详细介绍了Apache Spark的Structured Streaming如何集成Kafka,包括Kafka数据消费、数据源、接收器的配置和特定设置。通过实例展示了从Kafka消费数据、实时ETL流程,并提供了相关配置和参数说明。
摘要由CSDN通过智能技术生成