Spark超时重启、自动拉起脚本(Python版)
程序说明无自动拉起脚本Spark Streaming程序往往不稳定,遇到一些网络延迟或者部分节点挂掉会导致程序批次时间过长,从而影响程序的实时性。Spark Streaming 程序会因为一些不可控因素宕机,影响数据处理。该自动拉起脚本会根据Spark在Yarn中的任务ID去判断程序是否宕机,如果程序宕机,则启动Spark程序。会根据Yarn的Web页面获取当前批次的处理时长,如果批次执行时间过长的话就会重启Spark程序。代码(Python版)# -*- coding: utf-8
原创
2020-07-24 19:47:16 ·
48837 阅读 ·
0 评论