Spark 对接 Kafka

最新推荐文章于 2024-07-20 07:15:00 发布

low-bee

最新推荐文章于 2024-07-20 07:15:00 发布

阅读量610

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/qq_45887821/article/details/116095954

版权

本文介绍了如何使用Spark对接Kafka进行实时处理。主要内容包括Kafka作为Spark Executor的数据源，详细阐述了对接的方式，以及对接前的准备工作，如创建Maven项目并导入相关依赖，确保Spark节点配置正确。

摘要由CSDN通过智能技术生成

Spark对接Kafka

Kafka作为工作中最常用到的消息中间件, 以其高速处理消息出现在实时处理领域. 要使用Kafka做实时处理,那么就必须说道Spark和Kafka之间的对接

对接方式

Kafka作为Spark Executor的生产者, Spark Executor从Kafka中拉取数据并进行内容的计算.

准备

创建一个Maven, 导入需要的依赖

<dependencies>
		<!--spark core-->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.1.1</version>
        </dependency>
        <!--spark on yarn-->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-yarn_2.12</artifactId>
            <version>3.1.1</version>
            <scope>provided</scope