Spark Streaming（04）——Spark Streaming与flume整合

最新推荐文章于 2021-05-10 16:15:34 发布

Fenggms

最新推荐文章于 2021-05-10 16:15:34 发布

阅读量241

点赞数

分类专栏： Spark

本文链接：https://blog.csdn.net/Fenggms/article/details/83020117

版权

Spark 专栏收录该内容

27 篇文章 2 订阅

订阅专栏

Spark Streaming对接FlumeNG有两种方式，一种是FlumeNG将消息Push推给Spark Streaming，还有一种是Spark Streaming从flume 中Poll拉取数据。
也就是一种是推模式，主动方在Flume,一种是拉模式，主动方在Spark Streaming。

Poll模式（拉模式）

1 搭建安装flume

2 下载依赖包

下载依赖包，spark-streaming-flume-sink_2.11-2.1.3.jar 并将其放入到flume的lib目录下

3 修改flume/lib下的scala依赖包

从spark安装目录的jars文件夹（spark的jar包目录）下找到scala-library-2.11.8.jar 包，替换掉flume的lib目录下自带的scala-library-2.10.1.jar。

4 开发flume的agent

整合是拉模式，所以flume向自己所在的机器上产数据。
编写flume-poll.conf配置文件

a1.sources = r1
a1.sinks = k1
a1.channels = c1
#source
a1.sources.r1.channels = c1
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /root/data
a1.sources.r1.fileHeader = true
#channel
a1.channels.c1.type =memory
a1.channels.c1.capacity = 20000
a1.channels.c1.transactionCapacity=5000
#sinks
a1.sinks.k1.channel = c1
a1.sinks.k1.type = org.apache.spark.streaming.flume.sink.SparkSink
a1.sinks.k1.hostname=node01
a1.sinks.k1.port = 8888
a1.sinks.k1.batchSize= 2000

启动flume：

flume-ng agent -n a1 -c /export/servers/flume/conf -f /export/servers/flume/conf/flume-poll.conf -Dflume.root.logger=INFO,console

/root/data目录下准备数据文件data.txt

5 开发spark Streaming代码

引入pom依赖

  <properties>
        <scala.version>2.11.8</scala.version>
        <spark.version>2.1.3</spark.version>
    </properties>
  <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.11</artifactId>
            <version>2.1.3</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming-flume_2.11</artifactId>
            <version>2.1.3</version>
        </dependency>

    </dependencies>

代码示例：（scala代码）

package com.fgm.streaming_flume

import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}
import org.apache.spark.streaming.flume.{FlumeUtils, SparkFlumeEvent}
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.{SparkConf, SparkContext}

/**
  *sparkStreaming整合flume，采用拉模式
  * @Auther: fgm
  */
object SparkStreamingFlumePoll {

  def updateFunc(currentValues:Seq[Int], historyValues:Option[Int]):Option[Int] = {
    val newValue: Int = currentValues.sum+historyValues.getOrElse(0)
    Some(newValue)
  }

  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setAppName("FlumePoll").setMaster("local[2]")
    val sc: SparkContext = new SparkContext(sparkConf)
    sc.setLogLevel("warn")
    val ssc = new StreamingContext(sc,Seconds(5))
    ssc.checkpoint("./flume-poll")
    //通过flumeUtils调用createPollingStream方法获取flume中的数据
    val pollingStream: ReceiverInputDStream[SparkFlumeEvent] = FlumeUtils.createPollingStream(ssc,"node01",8888)
    //获取flume中event的body
    val data: DStream[String] = pollingStream.map(x=>new String(x.event.getBody.array()))
    val words: DStream[String] = data.flatMap(_.split(" "))
    val wordAndOne: DStream[(String, Int)] = words.map((_,1))
    val result: DStream[(String, Int)] = wordAndOne.updateStateByKey(updateFunc)

    //输出
    result.print()

    //开启流式计算
    ssc.start()
    ssc.awaitTermination()

  }
}

6 启动spark-streaming应用程序，去flume所在机器拉取数据

7 向/root/data目录下上传测试文档，查看IDEA控制台输出。

Push模式（推模式）

由于依赖等之前已经做过，这里直接开发flume配置文件即可。

1 开发flume-push.conf配置文件

#push mode
a1.sources = r1
a1.sinks = k1
a1.channels = c1
#source
a1.sources.r1.channels = c1
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /root/data
a1.sources.r1.fileHeader = true
#channel
a1.channels.c1.type =memory
a1.channels.c1.capacity = 20000
a1.channels.c1.transactionCapacity=5000
#sinks
a1.sinks.k1.channel = c1
a1.sinks.k1.type = avro
#sparkStreaming 代码运行的主机，这里是本机ip
a1.sinks.k1.hostname=192.168.52.5
a1.sinks.k1.port = 8888
a1.sinks.k1.batchSize= 2000

2 开发spark Streaming代码（scala代码）

依赖同上
示例代码如下：

package com.fgm.streaming_flume

import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}
import org.apache.spark.streaming.flume.{FlumeUtils, SparkFlumeEvent}
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.{SparkConf, SparkContext}

/**
  *利用sparkStreaming整合flume，推模式
  * @Auther: fgm
  */
object SparkStreamingFlumePush {
  def main(args: Array[String]): Unit = {
    val sparkConf: SparkConf = new SparkConf().setAppName("FlumePush").setMaster("local[2]")
    val sc = new SparkContext(sparkConf)
    sc.setLogLevel("WARN")

    val ssc: StreamingContext = new StreamingContext(sc,Seconds(0))
    val Stream: ReceiverInputDStream[SparkFlumeEvent] = FlumeUtils.createStream(ssc,"192.168.52.5",8888)
    //获取flume中event
    val data: DStream[String] = Stream.map(x=>new String(x.event.getBody.array()))
    val words: DStream[String] = data.flatMap(_.split(" "))
    val wordAndOne: DStream[(String, Int)] = words.map((_,1))
    val result: DStream[(String, Int)] = wordAndOne.reduceByKey(_+_)
    result.print()

    ssc.start()
    ssc.awaitTermination()
  }
}

3 启动spark-streaming应用程序

4 启动flume

flume-ng agent -n a1 -c /export/servers/flume/conf -f /export/servers/flume/conf/flume-push.conf -Dflume.root.logger=INFO,console

5 向/root/data目录下上传测试文档，查看IDEA控制台输出。

如何保证数据不丢失？

（1） flume采用的channel是将数据落地到磁盘中，保证数据源端安全性（可以在补充一下，flume在这里的channel可以设置为memory内存中，提高数据接收处理的效率，但是由于数据在内存中，安全机制保证不了，故选择channel为磁盘存储。整个流程运行有一点的延迟性）
（2）sparkStreaming通过拉模式整合的时候，使用了FlumeUtils这样一个类，该类是需要依赖一个额外的jar包（spark-streaming-flume_2.10）
（3）要想保证数据不丢失，数据的准确性，可以在构建StreamingConext的时候，利用StreamingContext.getOrCreate（checkpoint, creatingFunc: () => StreamingContext）来创建一个StreamingContext,使用StreamingContext.getOrCreate来创建StreamingContext对象，传入的第一个参数是checkpoint的存放目录，第二参数是生成StreamingContext对象的用户自定义函数。如果checkpoint的存放目录存在，则从这个目录中生成StreamingContext对象；如果不存在，才会调用第二个函数来生成新的StreamingContext对象。在creatingFunc函数中，除了生成一个新的StreamingContext操作，还需要完成各种操作，然后调用ssc.checkpoint(checkpointDirectory)来初始化checkpoint功能，最后再返回StreamingContext对象。
这样，在StreamingContext.getOrCreate之后，就可以直接调用start()函数来启动（或者是从中断点继续运行）流式应用了。如果有其他在启动或继续运行都要做的工作，可以在start()调用前执行。
（4）流式计算中使用checkpoint的作用：
保存元数据，包括流式应用的配置、流式没崩溃之前定义的各种操作、未完成所有操作的batch。元数据被存储到容忍失败的存储系统上，如HDFS。这种ckeckpoint主要针对driver失败后的修复。
保存流式数据，也是存储到容忍失败的存储系统上，如HDFS。这种ckeckpoint主要针对window operation、有状态的操作。无论是driver失败了，还是worker失败了，这种checkpoint都够快速恢复，而不需要将很长的历史数据都重新计算一遍（以便得到当前的状态）。
（5）设置流式数据checkpoint的周期

对于一个需要做checkpoint的DStream结构，可以通过调用DStream.checkpoint(checkpointInterval)来设置ckeckpoint的周期，经验上一般将这个checkpoint周期设置成batch周期的5至10倍。
（6）使用write ahead logs功能
这是一个可选功能，建议加上。这个功能将使得输入数据写入之前配置的checkpoint目录。这样有状态的数据可以从上一个checkpoint开始计算。开启的方法是把spark.streaming.receiver.writeAheadLogs.enable这个property设置为true。另外，由于输入RDD的默认StorageLevel是MEMORY_AND_DISK_2，即数据会在两台worker上做replication。实际上，Spark Streaming模式下，任何从网络输入数据的Receiver（如kafka、flume、socket）都会在两台机器上做数据备份。如果开启了write ahead logs的功能，建议把StorageLevel改成MEMORY_AND_DISK_SER。修改的方法是，在创建RDD时由参数传入。
使用以上的checkpoint机制，确实可以保证数据0丢失。但是一个前提条件是，数据发送端必须要有缓存功能，这样才能保证在spark应用重启期间，数据发送端不会因为spark streaming服务不可用而把数据丢弃。而flume具备这种特性，同样kafka也具备。

Fenggms

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Spark Streaming（04）——Spark Streaming与flume整合

Spark Streaming对接FlumeNG有两种方式，一种是FlumeNG将消息Push推给Spark Streaming，还有一种是Spark Streaming从flume 中Poll拉取数据。也就是一种是推模式，主动方在Flume,一种是拉模式，主动方在Spark Streaming。Poll模式（拉模式）1 搭建安装flume2 下载依赖包下载依赖包，spark-strea...
复制链接

扫一扫

专栏目录