Spark Streaming + Flume整合

Spark Streaming + Flume

以单词计数为例
流程：41414 ---> Flume ----> 4444 ---> SparkStreaming
flume从41414端口接收数据，处理完数据后，将数据发送到4444端口，SparkStreaming接收4444端口的数据。

Spark Streaming项目

相关依赖

<dependency>
    <groupId>org.apache.spark</groupId>
    <!-- 2.11 scala的版本 -->
    <!-- 2.4.4 spark的版本 -->
    <artifactId>spark-core_2.11</artifactId>
    <version>2.4.4</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.11</artifactId>
    <version>2.4.4</version>
    <!--集群中运行打开，本地运行注释-->
    <!--<scope>provided</scope>-->
</dependency>
<!-- spark-streaming-flume的整合jar -->
<dependency>