windows下搭建spark环境出现ChangeFileModeByMask error (3): ???????????

最新推荐文章于 2020-10-11 21:58:08 发布
最新推荐文章于 2020-10-11 21:58:08 发布
阅读量7.1k 收藏 2
点赞数 1
分类专栏： 杂记 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iaifeini/article/details/53469629
版权
在遵循某博主的Spark Windows环境搭建教程时，作者遇到了'ChangeFileModeByMask error (3): ???????? '的问题。通过在CMD中进入hadoop的bin目录并执行spark-shell.cmd，成功启动了Spark。尽管每次启动都需要此步骤，但目前尚未找到更便捷的解决方法。
摘要由CSDN通过智能技术生成

      我按照着 Spark在Windows下的环境搭建这个博主的教程搭建spark，在执行

inutils.exe chmod 777 /tmp/Hive
这一步一直出现ChangeFileModeByMask error (3): ???????????

这个问题困扰了我一下午，直到我突然发现了这么一个解决办法。

1.使spark成功启动

命令提示符（CMD）进入hadoop的bin目录，比如我的hadoop安装路径为E:\test\hadoop-2.6.5，我应该进入E:\test\hadoop-2.6.5\bin


然后执行spark-shell.cmd  ，此时

最低0.47元/天 解锁文章
iaifeini
关注
专栏目录
Windows平台Hadoop出现 Exception message: CreateSymbolicLink error (1314): ???????????
FREEDOM
01-29 1076
hadoop 2.7.1 windows 2008 server R2 问题描述： 在使用kettel执行ELT任务到hive时 hadoop出现Exception message: CreateSymbolicLink error (1314): ???????????（创建符号表异常），经过分析发现为windows账户不具备创建符号表的权限 解决方法： 1....
基于Kafka的实时计算引擎如何选择？SparkorFlink
02-24
以Spark和Flink为首的实时计算引擎，成为实时计算场景的重点考虑对象。那么，今天就来聊一聊基于Kafka的实时计算引擎如何选择?SparkorFlink?根据IBM的统计报告显示，过去两年内，当今世界上90%的数据产生源于新设备...
Polar mask错误总结
weixin_43489950的博客
10-11 1948
https://blog.csdn.net/chao_shine/article/details/106838732
Spark (null) entry in command string: null chmod 0700
tom_fans的博客
12-27 2788
使用ecplise来提交SPARK SQL的时候报错： Exception in thread "main" org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: java.io.IOException: (null) entry in command string: null chmod 0700 C:\Use...
基于spark技术体系，如何搭建大数据平台架构？
最新发布
06-23
基于spark技术体系，如何搭建大数据平台架构？ 基于spark技术体系，如何搭建大数据平台架构？ 基于spark技术体系，如何搭建大数据平台架构？ 基于spark技术体系，如何搭建大数据平台架构？ 基于spark技术体系，如何...
还在为搭建集群的期末作业发愁吗？最简单的搭建hadoop+spark+hive大数据集群搭建文档.docx
02-18
最简单的Hadoop+Spark大数据集群搭建方法，看这一篇就够啦，给出一个完全分布式hadoop+spark集群搭建完整文档，从环境准备（包括机器名，ip映射步骤，ssh免密，Java等）开始，包括zookeeper,hadoop,hive,spark，...
winutils.exe and hadoop.dll test_ok_on win7_64 python3 spark2.2.0+hadoop2.8.1
12-07
winutils.exe and hadoop.dll 在 win7_64 环境亲测通过，解压的winutils.exe放在...\hadoop-2.8.1\bin\下，hadoop.dll放在...\Windows\system32\下， 我安装的是Java 1.8.0_151，python3.6.3，spark2.2.0+hadoop2.8.1，注意版本匹配，太高的版本可能会报错，JAVA_HOME, SPARK_HOME，HADOOP_HOME和相应path的环境变量配置好，hive权限配置好，参考指令：winutils.exe chmod 777 D:\tmp\hive，如果metastore_db下的service.properties缺失，可以删除metastore_db文件夹会自动重建
win7系统 spark 安装配置及排错
SunnyGJing’s blog
05-04 3754
日期：17.5.1-5.4 我原本计划在Linux Ubuntu系统上安装Spark，网上教程和攻略细细读了几篇，准备工作基本就绪，却唯独差了一个u盘。为了赶时间，不因此拖进度的后腿，临时起意转战windows。 对于我来说，在Linux系统上安装和配置Spark是一件麻烦事，没有接触过，学习各种代码命令需要花费比较多的时间。Windows系统操作比较熟悉，排错会更容易一些。 安装
解决windows下运行hadoop客户端报错
学习笔记
06-14 3894
1、访问hdfs时报权限错误： Permission denied: user=administrator, access=WRITE, inode="/":root:supergroup 解决:配置JVA运行参数 -DHADOOP_USER_NAME=对应用户名 2、 Could not locate Hadoop executable: E:\lib\hadoop-2.8.0
hive启动出现权限错误 /tmp/hive on HDFS should be writable.
热门推荐
bear
04-23 1万+
启动hive时出现Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable.Current permissions are: rwxr-xr-x
linux设置文件权限(find+chmod)
rrr4578的专栏
04-02 9798
要求是把一个目录下的所有目录及其子目录设置成555，把所有php文件设置成444，但是data目录不变 =。= 最后只能想到这样的... find ~/Desktop/test -path ~/Desktop/test/data -prune -o -exec chmod 555 {} \; find ~/Desktop/test -name "*.php" -exec chmod 444
hadoop缺少winutils.exe的bug
blueBoygo的博客
08-15 984
hadoop 在windows上运行bug 缺少程序winutils.exe， 需要设置HADOOP_HOME在这个路径下 在这个路径下载文件：http://download.csdn.net/download/blueboygo/9934709 解压之后，在win或者linux设置环境变量，然后重启机器，再次重试是否解决bug
Spark还是Flink？基于Kafka的实时计算引擎选型指南
- 如果业务对延迟要求不高，更注重易用性和现有的Spark生态集成，或者需要进行批处理和交互式查询，那么Spark可能是更合适的选择，特别是在已经使用Hadoop等Spark兼容环境的企业中。 - 在实际选择时，还需要考虑团队...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值