SparkStreaming入门及数据丢失处理、容错

目录

 

1、SparkStreaming

2、SparkStreaming程序入口

3、SparkStreaming初始理解

4、什么是DStream

5、数据源

5.1、Socket数据源

5.2、HDFS数据源

5.3、自定义数据源

5.4、kafka数据源

6、Spark任务设置自动重启

步骤一：设置自动重启Driver程序

步骤二：设置HDFS的checkpoint目录

步骤三：代码实现

7、数据丢失如何处理

步骤一：设置checkpoint目录

步骤二：开启WAL日志

步骤三：需要reliable receiver

步骤四：取消备份

8、SparkStreaming的容错（当一个task非常慢的时候）

方案一：开启推测机制：（首先保障没有数据倾斜）

方案二：sparkStreaming与kafka整合（具体参数下一篇博客）

---

1、SparkStreaming

Spark流是对于Spark核心API的拓展，从而支持对于实时数据流的可拓展，高吞吐量和容错性流处理。数据可以由多个源取得，例如：Kafka，Flume，socket等，同时可以使用由如map，reduce，join和window这样的高层接口描述的复杂算法进行处理。最终，处理过的数据可以被推送到文件系统，数据库和HDFS。

在内部，它的工作方式如下。Spark Streaming接收实时输入数据流，并将数据分成批处理，然后由Spark引擎进行处理，以生成批处理的最终结果流。

2、SparkStreaming程序入口

val conf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCount")
val ssc = new StreamingContext(conf, Seconds(1))

3、SparkStreaming初始理解

• receiver  task是7*24小时一直在执行，一直接受数据，将一段时间内接收来的数据保存到batch中。
• 假设batchInterval为5s,那么会将接收来的数据每隔5秒封装到一个batch中，batch没有分布式计算特性，这一个batch的数据又被封装到一个RDD中，RDD最终封装到一个DStream中。

4、什么是DStream

离散数据流或者DStream是SparkStreaming提供的基本抽象。其表现数据的连续流，这个输入数据流可以来自于源，也可以来自于转换输入流产生的已处理数据流。内部而言，一个DStream以一系列连续的RDDs所展现，这些RDD是Spark对于不变的，分布式数据集的抽象。一个DStream中的每个RDD都包含来自一定间隔的数据，如下图：

在DStream上使用的任何操作都会转换为针对底层RDD的操作。例如：将行的流转变为词流，flatMap操作应用于行DStream的每个RDD上 从而产生words DStream的RDD。如下图：

5、数据源

5.1、Socket数据源

 val lines = ssc.socketTextStream("node01", 9999)    //scala代码

 或

JavaReceiverInputDStream<String> lines = jssc.socketTextStream("node01", 9999);       //java代码

5.2、HDFS数据源

 val lines = ssc.textFileStream("/tmp");

5.3、自定义数据源

// 调用 receiverStream api，将自定义的Receiver传进去
    val lines = ssc.receiverStream(new CustomReceiver("10.148.15.10", 9999))

定义类CustomReceiver继承Reciever类

5.4、kafka数据源

//0.8版

  val lines = KafkaUtils.createDirectStream[String,String,StringDecoder,StringDecoder](ssc,kafkaParams,topics)

//0.10版

val stream: InputDStream[ConsumerRecord[String, String]] = KafkaUtils.createDirectStream[String, String](
      ssc,
      LocationStrategies.PreferConsistent,
      ConsumerStrategies.Subscribe[String, String](topicsSet, kafkaParams))

6、Spark任务设置自动重启

Spark任务是可以设置自动重启的，但是client模式是不支持自动重启功能，只能是cluster模式支持。

而且不同的运行场景，设置自动重启的方式不一样。

步骤一：设置自动重启Driver程序

（1）Standalone：

在spark-submit中增加以下两个参数：

--deploy-mode cluster

--supervise

（2）Yarn：

在spark-submit中增加以下参数：

--deploy-mode cluster

在yarn配置中设置yarn.resourcemanager.am.max-attemps 3

一定要设置，因为我们是分布式的程序，有些时候我们的任务就是因为网络发送抖动，

步骤二：设置HDFS的checkpoint目录

  val checkpointDirectory:String="hdfs://node01:8020/streamingcheckpoint2";

  streamingContext.setCheckpoint(checkpointDirectory)

步骤三：代码实现

 ssc.checkpoint(checkpointDirectory)   // set checkpoint directory

 

// Get StreamingContext from checkpoint data or create a new one
val context = StreamingContext.getOrCreate(checkpointDirectory, functionToCreateContext _)

7、数据丢失如何处理

利用WAL把数据写入到HDFS中，如下四个步骤：

WAL

WAL：Write-Ahead-Log，使用在文件系统和数据库中用于数据操作的持久性，先把数据写到一个持久化的日志中（实质上是写入checkpoint目录中），然后对数据做操作，如果操作过程中系统挂了，恢复的时候可以重新读取日志文件再次进行操作。

步骤一：设置checkpoint目录

streamingContext.setCheckpoint(hdfsDirectory)

步骤二：开启WAL日志

sparkConf.set(“spark.streaming.receiver.writeAheadLog.enable”, “true”)

步骤三：需要reliable receiver

当数据写完了WAL后，才告诉数据源数据已经消费；对于没有告诉数据源的数据，可以从数据源中重新消费数据。

步骤四：取消备份

使用StorageLevel.MEMORYANDDISK_SER来存储数据源，不需要后缀为2的策略了，因为HDFS已经是多副本了。

Reliable Receiver : 当数据接收到，并且已经备份存储后，再发送回执给数据源（Kafka）。

Unreliable Receiver : 不发送回执给数据源（socket）。

8、SparkStreaming的容错（当一个task非常慢的时候）

方案一：开启推测机制：（首先保障没有数据倾斜）

spark.speculation=true，每隔一段时间来检查有哪些正在运行的task需要重新调度（spark.speculation.interval=100ms），假设总的task有10个，成功的task的数量 > 0.75 * 10（spark.speculation.quantile=0.75），正在运行的task的运行时间 > 1.5 * 成功运行task的平均时间（spark.speculation.multiplier=1.5），则这个正在运行的task需要重新等待调度。

 

方案二：sparkStreaming与kafka整合（具体参数下一篇博客）