IDEA消费Kafka的数据

最新推荐文章于 2022-12-02 18:04:10 发布

VIP文章丘卡丘丘丘皮

最新推荐文章于 2022-12-02 18:04:10 发布

阅读量432

点赞数

文章标签： kafka intellij-idea java spark

本文链接：https://blog.csdn.net/YyyZzzLllx/article/details/125910728

版权

首先,创建工具类,此是用来读取你的配置文件

object PropertiesUtil {

  def load(propertieName:String): Properties ={
    val prop=new Properties()
    prop.load(new InputStreamReader(Thread.currentThread()
      .getContextClassLoader.getResourceAsStream(propertieName) ,
      "UTF-8"))
    prop
  }
}

之后,创建一个类用来消费Kafka的数据


import java.util.Properties

import org.apache.kafka.clients.consumer.ConsumerRecord
import org.apache.kafka.common.serialization.StringDeserializer
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.streaming.dstream.InputDStream
import org.apache.spark.streaming.kafka010.{ConsumerStrategies, KafkaUtils, LocationStrategies}

object MyKafkaUtil {

  //1.创建配置信息对象
  private val properties: Properties = PropertiesUtil.load("config.properties")

  //2.用于初始化链接到集群的地址
  val broker_list: String = properties.getProperty("kafka.broker.list")

  //3.kafka消费者配置
  val kafkaParam = Ma