kafka 客户端使用以及spark streaming

• 启动kafka

sh bin/kafka-server-start.sh config/server.properties

• 作为消费者：

sh bin/kafka-console-consumer.sh --bootstrap-server <your broker list> --topic <your topic>

• 作为生产者

sh bin/kafka-console-producer.sh --broker-list <your broker list>   --topic <your topic>

spark streaming 是一个分布式流处理框架，持续处理达到的数据。 具备高吞吐量和容错能力强。

• 细节：处理的是批次数据，批处理间隔是spark streaming 的核心概念和关键参数，决定提交批次的间隔以及数据处理延迟
• 参考资料Spark streaming 介绍