Spark Streaming整合Kafka（scala）

最新推荐文章于 2022-07-07 09:53:13 发布

浅夏初雨yan

最新推荐文章于 2022-07-07 09:53:13 发布

阅读量557

点赞数

分类专栏：大数据 scala Kafka 文章标签： Kafka Spark Streaming

本文链接：https://blog.csdn.net/adayan_2015/article/details/88534414

版权

本文介绍了Spark Streaming整合Kafka的两种方法：Receiver和Direct方式。Receiver方式利用Kafka高级API，数据存于内存，效率低且易丢数据；Direct方式直接读取Kafka分区，效率高但需手动管理偏移量。文章提供了Receiver和Direct方式的编程示例。

摘要由CSDN通过智能技术生成

Spark Streaming整合Kafka有两种方式：Receiver和Direct方式

两种方式的区别？

Receiver方式：接收固定时间间隔的数据（放在内存中的），使用Kafka高级的API，自动维护偏移量，达到固定的时间才进行处理，效率低并且容易丢失数据。

Direct直连方式：相当于直接连接到Kafka的分区上，使用Kafka底层的API，效率高，需要自己维护偏移量。（常用）

（1）Receiver方式

编写程序实现Receiver方式连接（KafkaReceiverStreaming.scala）

package com.fyy.spark.streaming

import org.apache.spark.streaming.StreamingContext
import org.apache.spark.streaming.kafka.KafkaUtils
import org.apache.spark.{SparkConf, streaming}

/**
  * @Title: KafkaReceiverStreaming
  * @ProjectName SparkStreamingProject
  * @Description: Spark Streaming对接kafka的Receiver方式
  * @autho