sparksql问题解决
遇到这个问题的解决方案
1.设置 spark.sql.hive.convertMetastoreParquet=false或者spark.sql.hive.convertMetastoreOrc=false
2.设置checkpiont 阻断血缘,设置目录并设置checkpoint,清理目录spark.cleaner.referenceTracking.cleanCheckpoints=true。
3.先插入临时表,再移动到目标表。
遇到这个问题的解决方案
1.设置 spark.sql.hive.convertMetastoreParquet=false或者spark.sql.hive.convertMetastoreOrc=false
2.设置checkpiont 阻断血缘,设置目录并设置checkpoint,清理目录spark.cleaner.referenceTracking.cleanCheckpoints=true。
3.先插入临时表,再移动到目标表。