sparkstreaming sparkstreaming与kafka整合(两种receiver方式)

本文详细介绍了SparkStreaming的语义,包括At most once、At least once和Exactly once。讨论了SparkStreaming对Kafka的两种整合方式——Receiver-based Approach和Direct Approach。Receiver方式由于可能造成数据积压已被废弃,而Direct Approach提供了更稳定的解决方案,避免了数据丢失,并实现了与Kafka的高效并行读取。文章还深入探讨了Direct Approach在Kafka 0.8和1.0版本下的整合,强调了手动提交偏移量的重要性,并建议使用Kafka 1.0版本进行整合。
摘要由CSDN通过智能技术生成

sparkstreaming语义

sparkstreaming有三种语义

  • At most once 一条记录要么被处理一次,要么没有被处理

  • At least once 一条记录可能被处理一次或者多次,可能会重复处理

  • Exactly once 一条记录只被处理一次

sparkstreaming对kafka的支持

在这里插入图片描述

官网链接

sparkstreaming整合kafka的两种方式

  • 0.8版本整合 :receiver方式 direct方式

  • 0.10版本整合:direct方式。(0.10版本不再支持receiver方式)

receiver方式:基本上已经废弃了 基于线程拉取数据

spark的程序,启动线程去kafka里面拉取数据回来,拉取回来的数据存放spark的executor里面了,等着被其他的线程处理
拉取数据的线程与处理数据的线程,不是同一个线程
拉取数据是A线程,处理数据B线程
存在问题:拉取线程有可能一直在工作,但是处理数据线程有可能停止了 就会造成数据积压的情况
优点:使用kafka的high_level的API进行消费,kafka的offset都存储再zk里面,不用我们自己管了

direct方式:直接连接模式

拉取数据的线程以及处理数据的线程,都是同一个线程,数据拉取与数据处理都是统一批线程,不会存在线程停掉的问题
缺点:需要我们自己去维护offset 默认保存在kafka的一个topi里面了

Receiver-based Approach

  • 直接用receiver接收数据。Receiver是使用Kafka高级消费者API实现的。与所有接收器一样,从Kafka通过Receiver接收的数据存储在Spark执行器中,然后由Spark Streaming启动的作业处理数据。但是在默认配置下,此方法可能会在失败时丢失数据。
  • 为确保零数据丢失,必须在Spark Streaming中另外启用Write Ahead Logs(在Spark 1.2中引入)。这将同步保存所有收到的Kafka将数据写入分布式文件系统(例如HDFS)上的预写日志,以便在发生故障时可以恢复所有数据,但是性能不好。

在这里插入图片描述

pom文件

<dependency>
       <groupId>org.apache.spark</groupId>
       <artifactId>spark-streaming-kafka-0-8_2.11</artifactId>
       <version>2.3.3</version>
</dependency>

核心代码

import org.apache.spark.streaming.kafka._

 val kafkaStream = KafkaUtils.createStream(streamingContext,
     [ZK quorum], [consumer group id], [per-topic number of Kafka partitions to consume])

完整demo

import org.apache.spark.SparkConf
import org.apache.spark.streaming.dstream.{
   DStream, ReceiverInputDStream}
import org.apache.spark.streaming.kafka.KafkaUtils
import org.apache.spark.streaming.{
   Seconds, StreamingContext}

object receiver {
   
  def main(args: Array[String]): Unit = {
   
    val conf: SparkConf = new SparkConf().setAppName("KafkaReceiver08").setMaster("local[2]")
    val sc = new StreamingContext(conf,Seconds(2))
    sc.checkpoint("hdfs://node01:8020/kafka08WAL")
    //设置ZK kafka消费组 topic信息
    val zkQuorum="node01:2181,node02:2181,node03:2181"
    val groupid="KafkaReceiver08"
    val topics=Map("test" ->1)
    //元组第一位是key  第二位是value
    val receiverDS: ReceiverInputDStream[(String, String)] = KafkaUtils.createStream(sc,zkQuorum,groupid,topics)
    //获取kafka的topic数据
    val data: DStream[String] = receiverDS.map(_._2)
    val result: DStream[(String, Int)] = data.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
    result.print()
    sc.start()
    sc.awaitTermination()
  }
}

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值