- 博客(1)
- 收藏
- 关注
RSS订阅原创 coalesce分区数过小导致 Lost executor
由于之前一套spark代码没有合并小文件，被运维警告说小文件数超过了二十万，遂在落表时重分区，因为实际落表数据最大的只有几十MB，全都改成coalesce(1)，最近由于业务发展，数据量翻倍，有一个逻辑一直执行不过，报如下错误 ERROR YarnScheduler: Lost executor Caused by: org.apache.spark.SparkException: Job aborted due to stage failure: ResultStage 15 (sql at Data
2021-12-13 17:37:46
1261
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人