spark on yarn 问题
spark通过yarn提交任务,任务没跑就停止了,8088页面显示成功,点击history显示
Shutdown hook called before final status was reported.
查看了很久才发现,数据对接的数据格式改变了,我程序中有
if(StringUtils.isBlank(difference)){
System.exit(-1)
}else{
TimedTaskForBJJ.run(sqlContext,array)
SaveToMongo.saveMongo(sqlContext,Array("saveToMongoOnline",transferPath,mongoHost,database,mode))
}
程序中执行System.exit(-1) spark程序会正常停止,而且页面显示成功。