Spark Streaming整合kafka实战简单一看就会

最新推荐文章于 2022-10-14 10:57:40 发布

SqrsCbrOnly1

最新推荐文章于 2022-10-14 10:57:40 发布

阅读量507

点赞数 1

分类专栏：大数据技术文章标签： Spark Streaming整合kafka实战一看就会

本文链接：https://blog.csdn.net/SqrsCbrOnly1/article/details/96480066

版权

本篇博客介绍如何将Spark Streaming与Kafka进行整合，通过新建Scala Maven项目，添加相关依赖，启动Zookeeper和Kafka集群，创建并配置Topic、生产者和消费者。在验证消费者成功接收生产者消息后，编写Spark Streaming应用程序并运行，最终在控制台查看到数据处理结果，实现简单易懂的实战教程。

摘要由CSDN通过智能技术生成

首先新建一个由maven管理的scala的项目
在pom文件中添加以下依赖

  <properties>
        <scala.version>2.11.8</scala.version>
        <hadoop.version>2.7.4</hadoop.version>
        <spark.version>2.0.2</spark.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <!--sparkSql 需要引入的包-->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>$