sparkstreaming sparkstreaming与kafka整合（两种receiver方式）

最新推荐文章于 2024-02-02 13:50:56 发布

爱吃甜食_

最新推荐文章于 2024-02-02 13:50:56 发布

阅读量634

点赞数

分类专栏： Spark

本文链接：https://blog.csdn.net/a3125504x/article/details/108473421

版权

本文详细介绍了SparkStreaming的语义，包括At most once、At least once和Exactly once。讨论了SparkStreaming对Kafka的两种整合方式——Receiver-based Approach和Direct Approach。Receiver方式由于可能造成数据积压已被废弃，而Direct Approach提供了更稳定的解决方案，避免了数据丢失，并实现了与Kafka的高效并行读取。文章还深入探讨了Direct Approach在Kafka 0.8和1.0版本下的整合，强调了手动提交偏移量的重要性，并建议使用Kafka 1.0版本进行整合。

摘要由CSDN通过智能技术生成

sparkstreaming语义

sparkstreaming有三种语义

At most once 一条记录要么被处理一次，要么没有被处理
At least once 一条记录可能被处理一次或者多次，可能会重复处理
Exactly once 一条记录只被处理一次

sparkstreaming对kafka的支持

在这里插入图片描述

官网链接

sparkstreaming整合kafka的两种方式

0.8版本整合：receiver方式 direct方式
0.10版本整合：direct方式。（0.10版本不再支持receiver方式）

receiver方式：基本上已经废弃了基于线程拉取数据

spark的程序，启动线程去kafka里面拉取数据回来，拉取回来的数据存放spark的executor里面了，等着被其他的线程处理
拉取数据的线程与处理数据的线程，不是同一个线程
拉取数据是A线程，处理数据B线程
存在问题：拉取线程有可能一直在工作，但是处理数据线程有可能停止了就会造成数据积压的情况
优点：使用kafka的high_level的API进行消费，kafka的offset都存储再zk里面，不用我们自己管了

direct方式：直接连接模式

拉取数据的线程以及处理数据的线程，都是同一个线程，数据拉取与数据处理都是统一批线程，不会存在线程停掉的问题
缺点：需要我们自己去维护offset 默认保存在kafka的一个topi里面了

Receiver-based Approach

直接用receiver接收数据。Receiver是使用Kafka高级消费者API实现的。与所有接收器一样，从Kafka通过Receiver接收的数据存储在Spark执行器中，然后由Spark Streaming启动的作业处理数据。但是在默认配置下，此方法可能会在失败时丢失数据。
为确保零数据丢失，必须在Spark Streaming中另外启用Write Ahead Logs（在Spark 1.2中引入）。这将同步保存所有收到的Kafka将数据写入分布式文件系统（例如HDFS）上的预写日志，以便在发生故障时可以恢复所有数据，但是性能不好。

在这里插入图片描述

pom文件

<dependency>
       <groupId>org.apache.spark</groupId>
       <artifactId>spark-streaming-kafka-0-8_2.11</artifactId>
       <version>2.3.3</version>
</dependency>

核心代码

import org.apache.spark.streaming.kafka._

 val kafkaStream = KafkaUtils.createStream(streamingContext,
     [ZK quorum], [consumer group id], [per-topic number of Kafka partitions to consume])

完整demo

import org.apache.spark.SparkConf
import org.apache.spark.streaming.dstream.{
   DStream, ReceiverInputDStream}
import org.apache.spark.streaming.kafka.KafkaUtils
import org.apache.spark.streaming.{
   Seconds, StreamingContext}

object receiver {
   
  def main(args: Array[String]): Unit = {
   
    val conf: SparkConf = new SparkConf().setAppName("KafkaReceiver08").setMaster("local[2]")
    val sc = new StreamingContext(conf,Seconds(2))
    sc.checkpoint("hdfs://node01:8020/kafka08WAL")
    //设置ZK kafka消费组 topic信息
    val zkQuorum="node01:2181,node02:2181,node03:2181"
    val groupid="KafkaReceiver08"
    val topics=Map("test" ->1)
    //元组第一位是key  第二位是value
    val receiverDS: ReceiverInputDStream[(String, String)] = KafkaUtils.createStream(sc,zkQuorum,groupid,topics)
    //获取kafka的topic数据
    val data: DStream[String] = receiverDS.map(_._2)
    val result: DStream[(String, Int)] = data.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
    result.print()
    sc.start()
    sc.awaitTermination()
  }
}