sparksql踩坑

今天使用sparksql时遇到如下问题

It is possible the underlying files have been updated. You can explicitly invalidate the cache in Spark by running 'REFRESH TABLE tableName

查阅了网上资料说是由于sparkSession封装在actor中，每个actor都有自己独占的sparkSession，有些sql是保存数据到hive和hdfs上，但由于是一个多线程模型，如果不加任何干预的情况下，actor1跑出来的数据通过actor2读的时候会抛出异常

解决方式是：

// spark is an existing SparkSession
spark.catalog.refreshTable(“my_table”)

但是加上之后并没有解决，最后发现是输出路径和输入路径相同导致overwrite输入文件

result_df.coalesce(1).write.mode(“overwrite”).csv(“path”)

将输出路径更改即可