示例：Spark Streming+Kafka整合 (spark-streaming-kafka-0-8_2.11)

最新推荐文章于 2025-04-25 11:07:50 发布

drl_blogs

最新推荐文章于 2025-04-25 11:07:50 发布

阅读量2.3k

点赞数

分类专栏： # Kafka # Spark

本文链接：https://blog.csdn.net/drl_blogs/article/details/94397532

版权

本文介绍了如何将Spark Streaming与Kafka进行整合，详细阐述了Receiver和Direct两种方式的启动流程，包括启动Zookeeper、Kafka、生产者，以及编写和运行相关代码来实现数据流处理。最后，提供了官方文档链接供深入学习。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

- - Receiver
  - Direct

Receiver

import org.apache.log4j.{
   Level, Logger}
import org.apache.spark.SparkConf
import org.apache.spark.streaming.kafka.KafkaUtils
import org.apache.spark.streaming.{
   Seconds, StreamingContext}

object kafka_Receiver_streaming {
   
  Logger.getLogger("org").setLevel(Level.WARN)
  def main(args: Array[String]): Unit = {
   
    val sparkConf = new SparkConf().setAppName(