深入浅出Spark实时处理（三）--- Structured Streaming集成Kafka

最新推荐文章于 2024-01-20 11:45:17 发布

杨鑫newlfe

最新推荐文章于 2024-01-20 11:45:17 发布

阅读量1k

点赞数

分类专栏：大数据挖掘与大数据应用案例文章标签：深入浅出Spark实时处理 Spark 实时流

本文链接：https://blog.csdn.net/u012965373/article/details/104063533

版权

大数据挖掘与大数据应用案例专栏收录该内容

536 篇文章 1680 订阅 ¥9.90 ¥99.00

订阅专栏

本文深入探讨了Spark Structured Streaming如何与Kafka集成，包括从Kafka读取数据和向Kafka写入数据的细节。在读取数据时，介绍了所需的基础信息字段和类型；在写入数据时，强调了Kafka的至少一次写入语义可能导致的记录重复问题，并提出了引入主键解决重复的建议。此外，还详细说明了为Streaming和Batch Query设置Kafka选项的方法。

摘要由CSDN通过智能技术生成

Kafka 0.10的 Structured Streaming 集成，可从Kafka读取数据或向Kafka写入数据。

从Kafka读取数据

def run(): Unit ={

      val df = spark.readStream

        .format("kafka")

        .option("kafka.bootstrap.servers", "host1:port1,host2:port2")

        .option("subscribe", "topic1")

        .load()



      df.selectExpr("CAST(key as STRING)", "CAST(value AS STRING)").as[(String, String)]



      val df = spark

        .readStream

        .format("kafka")

        .option("kafka.bootstap.servers", "host1:port1,host2:port2")

        .option("subscribe", "topic1,topic2")

        .load()

    

      df.selectExpr(

了解本专栏