Hive填坑记1：win10下报The root scratch dir: /tmp/hive on HDFS should be writable

最新推荐文章于 2021-11-15 16:23:02 发布

IT源哥

最新推荐文章于 2021-11-15 16:23:02 发布

阅读量754

点赞数

分类专栏：源哥讲互联网技术大数据、微服务、SaaS、CRM、在线客服、呼叫中心技术文章标签： hive

本文链接：https://blog.csdn.net/sunlen/article/details/112705433

版权

源哥讲互联网技术同时被 2 个专栏收录

57 篇文章 88 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

大数据、微服务、SaaS、CRM、在线客服、呼叫中心技术

37 篇文章 17 订阅 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

在Windows 10环境下使用Spark执行任务时遇到'The root scratch dir: /tmp/hive'权限错误。尝试通过winutils修改权限失败，经过更换winutils版本、配置环境变量、拷贝hadoop.dll等操作问题依然存在。最后发现是D盘tmp/hive目录的问题，删除并重建该目录后成功解决问题。

摘要由CSDN通过智能技术生成

在windows环境下，跑Spark程序，报“tmp/hive”权限不对，用docs命令加上权限，又提示“ChangeFileModeByMask error”，网上没有一个正确的解决方案，几经折腾，最终搞定，经验分享给大家。

我在window10跑Spark离线任务，抛如下异常：

Exception in thread "main" org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwxrwx---;
at org.apache.spark.sql.hive.HiveExternalCatalog.withClient(HiveExternalCatalog.scala:106)
at org.apache.spark.sql.hive.HiveExternalCatalog.databaseExists(HiveExternalCatalog.scala:214)
at org.apache.spark.sql.internal.SharedState.externalCatalog$lzycompute(SharedState.scala: