【Spark Streaming】（五）Spark Streaming 与 Kafka 集成实战！_kafkautils(1)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

+ - [4.1 原理](#41__151)
	- [4.2 实战](#42__163)
	- [4.3 结果展示](#43__210)

一、前言

首先，我们先来简单的了解下 Kafka：是一种高吞吐量的分布式发布订阅消息系统。依赖Zookeeper，因此搭建Kafka的时候需要事先搭建好Zookeeper。对 Kafka 还不太了解的同学，可以看云祁 Kafka 专栏的博客，一定会有收获的嗷 🦄 ！

Kafka 的体系结构如下：

作为一个实时的分布式消息队列，实时的生产和消费消息，我们可以利用 Spark Streaming 实时计算框架实时地读取 Kafka 中的数据然后进行计算。在 Spark1.3 版本后，kafkaUtils 里面提供了两个创建 DStream 的方法，一种为KafkaUtils.createDstream，另一种为KafkaUtils.createDirectStream。

二、项目准备

2.1 添加Kafka的pom依赖

由于 Spark Streaming 与 Kafka 做集成的时候 Kafka 成了 Streaming 的高级数据源࿰