Spark修炼之道（进阶篇）——Spark入门到精通：第十六节 Spark Streaming与Kafka

作者：周志湖

主要内容

1. Spark Streaming与Kafka版的WordCount示例（一）
2. Spark Streaming与Kafka版的WordCount示例（二）

1. Spark Streaming与Kafka版本的WordCount示例 （一）

1. 启动kafka集群

root@sparkslave02:/hadoopLearning/kafka_2.10-0.8.2.1# bin/kafka-server-start.sh config/server.properties 
root@sparkslave01:/hadoopLearning/kafka_2.10-0.8.2.1# bin/kafka-server-start.sh config/server.properties 
root@sparkmaster:/hadoopLearning/kafka_2.10-0.8.2.1# bin/kafka-server-start.sh config/server.properties 

向kafka集群发送消息

root@sparkslave01:/hadoopLearning/kafka_2.10-0.8.2.1# bin/kafka-console-producer.sh --broker-list sparkslave01:9092 --sync --topic kafkatopictest

1. 编写如下程序

import org.apache.kafka.clients