关闭

Stop Spark Streaming On YARN Gracefully

954人阅读 评论(0) 收藏 举报
分类:

一、问题

在YARN上停止Spark Streaming的方式比较粗暴“yarn application -kill [applicationId]”。
命令执行后,YARN在分配给Streaming App的container上执行“kill -15”命令结束进程,不会考虑Streaming App的执行情况。
虽然spark-yarn的ApplicationMaster在启动时加入了shutdownHook执行sc.stop(),但是这也只能使Spark Context完成关闭工作。Streaming Context中的receiverTracker、jobGenerator、jobExecutor等组件并不会正常关闭。
当然,如果你启用了checkpoint和writeAheadLog(以ReliableKafka为例),这并不会造成数据的丢失。但是正在执行的RDD中的数据在应用恢复后会被再处理一次,造成数据的重复处理。如果,你的Streaming App对数据的准确性要求比较高,那就需要自己实现一个Stop Gracefully的方法。

二、解决方案

调用SteamingContext类的stop方法是关闭Streaming Context最好的方法。我们要做的就是在关闭App的时候调用执行这个方法。

一个思路是在shutdownHook中添加ssc.stop()。但是这个方法行不通。原因是执行yarn application -kill命令后,YARN回收Applicationcontainer的过程是异步进行的,不一定按照先master containerworker container的顺序。当触发Spark Driver上的shutdownHook时,exectuor上的receiver可能已经被强行退出了。
另外,container在kill进程的时候先执行kill -15。如果一段时间内(默认250ms)进程仍未结束,则kill -9。这段时间可能不够StreamingContext处理完已接受的数据。

另外一种解决方案就是在Streaming App上实现一个服务端,在接到请求时执行ssc.stop。
服务端实现起来比较简单,唯一要考虑的问题是在yarn-cluster部署模式下如何获取服务端的IP地址。我的方法是将服务端信息(IP和端口)保存在了hdfs上。

我用socketServer实现了一个简单的服务端和客户端。不嫌弃的话可以参考一下~
github:https://github.com/hammertank/spark-utils/blob/master/src/main/scala/my/spark/streaming/
0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:14185次
    • 积分:239
    • 等级:
    • 排名:千里之外
    • 原创:10篇
    • 转载:0篇
    • 译文:0篇
    • 评论:0条
    文章分类