SparkStreaming任务保持运行,定时任务监控进程

cron任务:每隔1分钟启动脚本,检查进程是否运行。

*/1 * * * * /data1/spark-1.6.0/startEnginea.sh

检查进程,如果进程挂掉,重新启动Spark任务:

#!/bin/sh

is_Engine_exist=$(ps aux | grep LbsStreamingEngineTJ | grep -v grep | wc -l)

if [ $is_Engine_exist = 0 ];then

        echo 'Process Engine is down'

        echo 'Bring Engine up'

        strDate=`date +%Y%m%d%H%M%S`

        strStart="start Engine ${strDate}"

        echo "${strStart}" >> /data1/log.txt

        nohup /data1/spark-1.6.0/bin/spark-submit --master  spark://localhost:7077 --name LbsStreamingEngineTJ --class com.datafactory.streaming.LbsStreamingEngineTJ --executor-memory 512m --total-executor-cores 2 /data1/work/datafactory-0.1.0-SNAPSHOT1023.jar "some${strDate}" 10 15000 &

        echo 'Bring Engine finished '

else

        strDate=`date +%Y%m%d%H%M%S`

        strRun="running ${strDate}"

        echo "${strRun}" >> /data1/log.txt

fi

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值