Spark-stream基础---sparkStreaming和Kafka整合wordCount单词计数

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Python全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Python知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024c （备注Python）

正文

//3.创建生产者

bin/kafka-console-producer.sh --broker-list hou-01:9092 --topic wc

//4.控制台输入任意单词

IDEA添加依赖

org.apache.spark

spark-streaming-kafka-0-8_2.11

${spark.version}

1.0版本单词计数

package day08

import org.apache.spark.SparkConf

import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}

import org.apache.spark.streaming.kafka.KafkaUtils

import org.apache.spark.streaming.{Milliseconds, StreamingContext}

/*

需求：kafka消费数据到sparkStreaming计算

*/

object KafkaWordCount {

def main(args: Array[String]): Unit = {

//1.创建StreamingContext

val conf: SparkConf = new SparkConf().setAppName(“kafkaWordCount”).setMaster(“local[2]”)

val ssc: StreamingContext = new StreamingContext(conf,Milliseconds(2000))

//2.接入kafka数据源(如何访问kafka集群？zookeeper)

val zkQuorm: String = “192.168.64.111,192.168.64.112,192.168.64.113”

//访问组

val groupID = “g1”

//访问主题

val topic: Map[String, Int] = MapString,Int

//创建Dstream

val kafkaStream: ReceiverInputDStream[(String, String)] = KafkaUtils

.createStream(ssc,zkQuorm,groupID,topic)

//3.处理数据

val data: DStream[String] = kafkaStream.map(_._2)

//4.启动streaming程序

val r: DStream[(String, Int)] = data.flatMap(.split(" ")).map((,1)).reduceByKey(+)

r.print()

ssc.start()

//5.关闭资源

ssc.awaitTermination()

}

}

结果

2.0版本单词计数

将历史记录保存下来，显示出来，主要使用dataFunc

package day08

import org.apache.spark.{HashPartitioner, SparkConf}

import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}

import org.apache.spark.streaming.kafka.KafkaUtils

import org.apache.spark.streaming.{Milliseconds, StreamingContext}

object StatusKafkaWordCount {

//保持历史状态 wc 单词，次数 聚合的key

//第一个类型：单词，第二个类型：在每一个分区中出现的次数累加的结果

//第三个类型：是以前的结果

val updateFunc = (iter:Iterator[(String,Seq[Int],Option[Int])]) => {

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注python）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
*

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注python）
[外链图片转存中…(img-q6pnj4j4-1713387300334)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！