前言
本专栏主要汇总工作学习中遇到的一些 Spark 异常问题,也包括一些比较难实现的需求分析。
后续问题多了会分门别类,暂时只记录
目录
Consider boosting spark.yarn.executor.memoryOverhead
org.apache.spark.util.SparkFatalException
spark left join 和 right join 的坑
org.apache.spark.SparkException: Task not serializable
spark-sql 报错:The root scratch dir: /tmp/hive on HDFS should be writable.