Spark 连接 KafKa

最新推荐文章于 2024-07-20 07:15:00 发布

TT15751097576

最新推荐文章于 2024-07-20 07:15:00 发布

阅读量473

点赞数

分类专栏：大数据基础篇文章标签： Spark 连接 KafKa

本文链接：https://blog.csdn.net/TT15751097576/article/details/102578288

版权

本文介绍如何使用Scala连接KafKa，从KafKa消费者端配置（包括老消费者Zookeeper设置和新消费者bootstrap-server设置）到在Maven工程中构建Spark应用，最后在虚拟机中启动Kafka、Spark和Zookeeper进行数据导入。

摘要由CSDN通过智能技术生成

数据的流程与细节方向

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NsuvdjmY-1571162694434)(C:\Users\tt\AppData\Roaming\Typora\typora-user-images\1571158628657.png)]$

前几天把数据导入kafka中，现在要把数据从kafka中使用Scala将数据导入数据仓库；

新建maven工程（基础步骤），

在开百度中打开maven工程–>找到kafka的jar

导入scala框架

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sQxLxvU4-1571162694436)(C:\Users\tt\AppData\Roaming\Typora\typora-user-images\1571138951538.png)]$

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.0.0</version>
</dependency>

对于消费者<

关注

专栏目录