Spark Streaming与Kafka整合

第一步 ：启动zookeeper  bin   ./zkServer.sh start

第二步：启动kafka  进入bin目录

 ./kafka-server-start.sh -daemon /home/hadoop/app/kafka_2.11-0.9.0.0/config/server.properties

Jps 之后，看见进程里面已经有一个kafka了

第三步：创建topic

 kafka-topics.sh  --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic kafka_streaming_top

 

查看topic

 ./kafka-topics.sh --list --zookeeper localhost:2181

 

第四步：通过控制台测试topic是否能够正常的生产和消费信息

./kafka-console-producer.sh   --broker-list  localhost:9092 --topic kafka_streaming-topic

（生产者 生产到kafka_streaming_topic ）

./kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafka_streaming-topic

（消费者，zookeeper localhost：2181 进行消费 消费的是kafka_streaming_topic ）

(创建topic和查看topic的时候，和zookeeper打交道 zooke 2181端口   kafka ：9092端口)

 

第五步：开始使用 IDEA编程

import org.apache.spark.SparkConf
import org.apache.spark.streaming.kafka.KafkaUtils
import org.apache.spark.streaming.{Seconds, StreamingContext}

/**
  * Spark Streaming对接Kafka的方式一
  */
object KafkaReceiverWordCount {

  def main(args: Array[String]): Unit = {

    if(args.length != 4) {
      System.err.println("Usage: KafkaReceiverWordCount <zkQuorum> <group> <topics> <numThreads>")
    }

    val Array(zkQuorum, group, topics, numThreads) = args

    val sparkConf = new SparkConf().setAppName("KafkaReceiverWordCount")
      .setMaster("local[2]")

    val ssc = new StreamingContext(sparkConf, Seconds(5))

    val topicMap = topics.split(",").map((_, numThreads.toInt)).toMap

    // TODO... Spark Streaming如何对接Kafka
    val messages = KafkaUtils.createStream(ssc, zkQuorum, group,topicMap)

    // TODO... 自己去测试为什么要取第二个
    messages.map(_._2).flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).print()

    ssc.start()
    ssc.awaitTermination()
  }
}