spark整合flume(spark2.3.x之后移除对flume的支持,可采用flume-＞kafka-＞sparkstreaming)

最新推荐文章于 2023-05-13 08:31:33 发布

Zakza

最新推荐文章于 2023-05-13 08:31:33 发布

阅读量229

点赞数

分类专栏： BigData 文章标签： spark

本文链接：https://blog.csdn.net/qq_18453581/article/details/116598524

版权

本文介绍了在Spark 2.3.4及以上版本中，由于官方移除对Flume的支持，如何通过Flume将数据发送到Kafka，再由Spark Streaming进行处理。主要内容包括配置POM.xml、编写main方法、设定Flume的flume-nc.properties文件。启动流程包括启动Flume服务、Spark Streaming程序，并强调数据源输入、版本匹配及错误排查方法。

摘要由CSDN通过智能技术生成

版本说明

spark2.3.4
scala2.11.0
flume1.9.0

pom.xml

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <spark.version>2.3.4</spark.version>
        <scala.version>2.11</scala.version>
    </properties>

    <dependencies>
        <!-- Spark Streaming-->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_${scala.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <!-- Spark Streaming 整合 Flume 依赖-->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming-flume_${scala.version}</artifactId>