Spark超时重启、自动拉起脚本(Python版)
程序说明
无自动拉起脚本
Spark Streaming程序往往不稳定,遇到一些网络延迟或者部分节点挂掉会导致程序批次时间过长,从而影响程序的实时性。
Spark Streaming 程序会因为一些不可控因素宕机,影响数据处理。
该自动拉起脚本
会根据Spark在Yarn中的任务ID去判断程序是否宕机,如果程序宕机,则启动Spark程序。
会根据Yarn的Web页面获取当前批次的处理时长,如果批次执行时间过长的话就会重启Spark程序。
代码(Python版)
# -*- coding: utf-8
原创
2020-07-24 19:47:16 ·
48806 阅读 ·
0 评论