spark streaming流计算程序无故挂掉问题排查
问题:
executor dead的数据越来越多,导致数据处理速度变慢,最后分配的所有的executor都dead了,程序挂掉
日志报错:
18/05/23 17:21:30 ERROR CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
解决方案:
1、增加executor的内存大小
2、加大executor通信超时时间s...
原创
2018-12-12 14:43:07 ·
1886 阅读 ·
1 评论