SparkStreaming之Kafka 0-10 Direct模式

一、选型
ReceiverAPI：需要一个专门的Executor去接收数据，然后发送给其他的Executor做计算。存在的问题，接收数据的Executor和计算的Executor速度会有所不同，特别在接收数据的Executor速度大于计算的Executor速度，会导致计算数据的节点内存溢出。早期版本中提供此方式，当前版本不适用
DirectAPI：是由计算的Executor来主动消费Kafka的数据，速度由自身控制。

Kafka 0-8 Receiver模式和Direct模式都不适合当前版本不适用，本次学习采用Kafka 0-10 Direct模式。

二、需求
需求：通过SparkStreaming从Kafka读取数据，并将读取过来的数据做简单计算，最终打印到控制台。

三、编写代码
3.1 导入依赖

<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-streaming-kafka-0-10_2.12</artifactId> 
    <version>3.0.0</version>
</dependency>

<dependency> 
    <groupId>com.fasterxml.jackson.core</groupId>
     <artifactId>jackson-core</artifactId> 
     <version>2.10.1</version>
</dependency>

3.2 代码实现

package com.lzl.bigdata.spark.streaming

import org.apache.kafka.clients.consumer.{ConsumerConfig, ConsumerRecord}
import org.apache.spark.SparkConf
import org.apache.spark.streaming.dstream.InputDStream
import org.apache.spark.streaming.kafka010.{ConsumerStrategies, KafkaUtils, LocationStrategies}
import org.apache.spark.streaming.{Seconds, StreamingContext}



object SparkStreaming04_kafka {

  def main(args: Array[String]): Unit = {

    //1.初始化Spark配置信息
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("RDDStreaming")

    //2.初始化SparkStreamingContext
    val ssc = new StreamingContext(sparkConf,Seconds(4))

    //3.定义Kafka参数
    val kafkaPara: Map[String, Object] = Map[String, Object](
      ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG -> "hadoop101:9092,hadoop102:9092,hadoop103:9092",
      ConsumerConfig.GROUP_ID_CONFIG -> "liang",
      "key.deserializer" -> "org.apache.kafka.common.serialization.StringDeserializer",
      "value.deserializer" -> "org.apache.kafka.common.serialization.StringDeserializer"
    )

    val kafkaDataDS: InputDStream[ConsumerRecord[String,String]] = KafkaUtils.createDirectStream[String, String](
      ssc,
      LocationStrategies.PreferConsistent,
      ConsumerStrategies.Subscribe[String, String](Set("liang"), kafkaPara)
    )
    kafkaDataDS.map(_.value()).print()

    //3、启动SparkStreamingContext任务
    ssc.start()
    ssc.awaitTermination()

  }
}

运行结果：

表明环境没有问题。

3.3 打开虚拟机，启动zookeeper和kafka，启动消费模式，在消费端输入发送消息

[lzl@hadoop101 kafka]$ bin/kafka-console-producer.sh --broker-list hadoop101:9092 --topic liang
>hello
>scala
>spark
>word

在IEDA上我们可以看到接收（消费）到的消息