Stop Spark Streaming On YARN Gracefully

原创 2015年11月18日 10:26:56

一、问题

在YARN上停止Spark Streaming的方式比较粗暴“yarn application -kill [applicationId]”。
命令执行后,YARN在分配给Streaming App的container上执行“kill -15”命令结束进程,不会考虑Streaming App的执行情况。
虽然spark-yarn的ApplicationMaster在启动时加入了shutdownHook执行sc.stop(),但是这也只能使Spark Context完成关闭工作。Streaming Context中的receiverTracker、jobGenerator、jobExecutor等组件并不会正常关闭。
当然,如果你启用了checkpoint和writeAheadLog(以ReliableKafka为例),这并不会造成数据的丢失。但是正在执行的RDD中的数据在应用恢复后会被再处理一次,造成数据的重复处理。如果,你的Streaming App对数据的准确性要求比较高,那就需要自己实现一个Stop Gracefully的方法。

二、解决方案

调用SteamingContext类的stop方法是关闭Streaming Context最好的方法。我们要做的就是在关闭App的时候调用执行这个方法。

一个思路是在shutdownHook中添加ssc.stop()。但是这个方法行不通。原因是执行yarn application -kill命令后,YARN回收Applicationcontainer的过程是异步进行的,不一定按照先master containerworker container的顺序。当触发Spark Driver上的shutdownHook时,exectuor上的receiver可能已经被强行退出了。
另外,container在kill进程的时候先执行kill -15。如果一段时间内(默认250ms)进程仍未结束,则kill -9。这段时间可能不够StreamingContext处理完已接受的数据。

另外一种解决方案就是在Streaming App上实现一个服务端,在接到请求时执行ssc.stop。
服务端实现起来比较简单,唯一要考虑的问题是在yarn-cluster部署模式下如何获取服务端的IP地址。我的方法是将服务端信息(IP和端口)保存在了hdfs上。

我用socketServer实现了一个简单的服务端和客户端。不嫌弃的话可以参考一下~
github:https://github.com/hammertank/spark-utils/blob/master/src/main/scala/my/spark/streaming/

第18课:Spark Streaming中空RDD处理及流处理程序优雅的停止

1.SparkStreaming中空RDD处理 JobGenerator /** Generate jobsand perform checkpoint for the given `time`...

Spark Streaming 流计算优化记录(2)-不同时间片数据流的Join

关于Spark Streaming优化的各种叽里呱啦记录, 这一次是从跑不动, 一直优化到能每秒解决6万条输入消息以及3G数据的Inner Join. 大数据,流计算,spark,kafka,hado...

如何优雅地终止正在运行的Spark Streaming程序

转载原文地址:可以点击:https://www.iteblog.com/archives/1890.html进入原文阅读。   一直运行的Spark Streaming程序如...
  • nysyxxg
  • nysyxxg
  • 2017年03月08日 11:02
  • 1402

Spark-Streaming KafkaDirectDStream checkpoint的原理

JobGenrerator.generateJobs负责Streaming Job的产生,产生并且提交执行Job之后,会发送DoCheckpoint事件,源码如下: [java] v...
  • mtj66
  • mtj66
  • 2017年01月08日 19:28
  • 618

Spark Streaming源码解读之数据清理内幕彻底解密

本篇博客的主要目的是: 1. 理清楚Spark Streaming中数据清理的流程组织思路如下: a) 背景 b) 如何研究Spark Streaming数据清理? c) 源码解析一:背...

spark学习笔记六:Spark Streaming

基本介绍 Spark创建流式应用的本质,还是依赖了spark最核心的那些技术,只是在这些技术上又封装了一层流式接口。 Spark的streaming机制简单来说,就是将连续的时间序列切割成不同的离...

Spark Streaming checkpoint 实现状态的恢复实现

Spark Streaming checkpoint 实现状态的恢复实现

关于数据仓库 — ODS概念

ODS是一个面向主题的、集成的、可变的、当前的细节数据集合,用于支持企业对于即时性的、操作性的、集成的全体信息的需 求。常常被作为数据仓库的过渡,也是数据仓库项目的可选项之一。根据Bill.Inmon...

java 捕捉信号(linux下的kill,ctrl+c)

import sun.misc.Signal;import sun.misc.SignalHandler;/**** java信号处理demo* @author jiang_qh**/public c...

Spark-on-YARN-A-Deep-Dive-Sandy-Ryza

  • 2015年09月22日 16:40
  • 5.42MB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Stop Spark Streaming On YARN Gracefully
举报原因:
原因补充:

(最多只允许输入30个字)