spark streaming 同时处理两个不同kafka集群的数据

最新推荐文章于 2024-06-29 07:47:50 发布

xiao_jun_0820

最新推荐文章于 2024-06-29 07:47:50 发布

阅读量1.1w

点赞数 2

分类专栏： spark

本文链接：https://blog.csdn.net/xiao_jun_0820/article/details/51898171

版权

如题，总是不那么完美，要处理的数据在两个不同的kafka集群里面，日子得过，问题也得解决，我们创建两个DStream,连接两个不同的kafka集群的不同topic,然后再把这两个DStream union在一起处理，代码如下：

package com.kingnet

import java.util

import org.apache.spark.SparkConf
import org.apache.spark.streaming.kafka.KafkaUtils
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.joda.time.DateTime
import org.joda.time.format.DateTimeFormat

import scala.collection.JavaConversions._

/** *
  *
  */
object IOSChannelNewActiveDids {

  def createContext(params: KafkaStreamingParams) = {

    //   {"batchTime":5,"sources":[{"zookeeper":"name85:2181,name86:2181,name87:2181","group":"group1","topics":"test1","numThreads":"1"},{"zookeeper":"name85:2181,name86:2181,name87:2181","group":"group1","topics":"test2","numThreads":"