spark运行正常,某一个Stage卡住,停止不前异常分析
异常说明spark提交任务后,前N个Stage运行顺利,到达某一个Stage后,卡住,通过spark界面可以看到,executor运行正常,卡住的Stage的task已经分配至executor,但duration time一直增加,task却不结束,同时log中也无异常报出。解决方案1,分析没有异常说明程序本身没有问题,框架运行也运行正常,很有可能是因为该stage操作较为复杂...
转载
2018-09-05 10:02:10 ·
6980 阅读 ·
0 评论