本文讲述了在Spark任务异常后，如何通过分析任务执行日志中的dh参数来确定任务重启时的状态。方法涉及使用grep、awk和sed等工具从日志中提取最后一次dh值。
spark任务异常失败后，需要重启任务
任务需要一个时间参数dh
dh是动态的向后流动的
因此每次重启的任务这个参数都是不同的
如何知道上次失败的时候dh执行到了何处
需要借助任务执行日志来确定
思路：
从日志文件中根据关键词"dh=",筛选出符合要求的行
从多行中筛选出最近一次的dh，也就是最后一样
从行中筛选出列，这时一个单独的列就是一个字符串
用字符串处理方式得到最终的值
value=`cat ${FILE_LOG} | grep dh= | tail -1 | awk '{printf $4 "\t" "\n"}' | sed 's/dh=//g'`
6719
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
