spark报错Permission denied: user=test, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x

项目背景

使用structured streaming消费kafka某个topic数据并写入hdfs上。本地运行没有错误，部署在yarn上报错。

问题排查

根据报错提示，是test用户没有权限操作hdfs的根目录，hdfs用户有权限。则使用hdfs用户进行部署，运行正常。发现在hdfs根目录下生成文件

/yarn/nm/usercache/hdfs/appcache/application_1560935858543_2777/container_e18_1560935858543_2777_01_000001/tmp/temporary-46dc51d5-226d-4b62-8f22-42eef565d138/*

发现该结构为checkpoint结构。又重新在本地运行了，仔细检查了，发现原来在本地也会生成checkpoint文件结构。文件目录是C:\Users\我的账号\AppData\Local\Temp\temporary-95fea160-e249-4694-b31b-6010fd42d45f/*

问题解决

df
  .writeStream
  .format("parquet")
  .option("checkpointLocation", "path/to/checkpoint/dir")  //此处需添加
  .option("path", "path/to/destination/dir")
  .start()