SparkStreaming之Kafka数据源

最新推荐文章于 2024-05-23 10:57:27 发布

不将就的cris

最新推荐文章于 2024-05-23 10:57:27 发布

阅读量419

点赞数

文章标签：大数据 spark kafka

本文链接：https://blog.csdn.net/weixin_45568872/article/details/104591713

版权

本文介绍如何使用SparkStreaming从Kafka读取数据，进行WordCount计算并打印结果。首先，确保安装配置了Zookeeper和Kafka，接着在Maven项目中引入相关依赖。启动Zookeeper和Kafka集群后，编写SparkStreaming代码。运行程序，通过虚拟机命令生产数据，观察控制台输出的词频统计结果。

摘要由CSDN通过智能技术生成

案例需求：

通过SparkStreaming从Kafka读取数据，并将读取过来的数据做简单计算(WordCount)，最终打印到控制台。

准备工作

1). 使用IDEA工具创建Maven项目，并导入如下依赖

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka-0-8_2.11</artifactId>
    <version>2.1.1</version>
</dependency>
<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>0.11.0.2</version>
</dependency>

2). 确保虚拟机已安装配置Zookeeper和Kafka
3). 使用群起脚本命令启动Zookeeper和Kafka集群(群起脚本命令的编写请参考我的另一篇博文Zookeeper和Kafka的群起/群关脚本)

代码编写

package com.learn.streaming

import org.apache.spark.SparkConf
import org.apache.spark.storage.StorageLevel
import org.apache.spark.streaming.dstream.{
   DStream, Recei