windows下搭建spark环境出现ChangeFileModeByMask error (3): ???????????

最新推荐文章于 2020-10-11 21:58:08 发布
最新推荐文章于 2020-10-11 21:58:08 发布
阅读量7.1k 收藏 2
点赞数 1
分类专栏： 杂记 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iaifeini/article/details/53469629
版权
在遵循某博主的Spark Windows环境搭建教程时，作者遇到了'ChangeFileModeByMask error (3): ???????? '的问题。通过在CMD中进入hadoop的bin目录并执行spark-shell.cmd，成功启动了Spark。尽管每次启动都需要此步骤，但目前尚未找到更便捷的解决方法。
摘要由CSDN通过智能技术生成

      我按照着 Spark在Windows下的环境搭建这个博主的教程搭建spark，在执行

inutils.exe chmod 777 /tmp/Hive
这一步一直出现ChangeFileModeByMask error (3): ???????????

这个问题困扰了我一下午，直到我突然发现了这么一个解决办法。

1.使spark成功启动

命令提示符（CMD）进入hadoop的bin目录，比如我的hadoop安装路径为E:\test\hadoop-2.6.5，我应该进入E:\test\hadoop-2.6.5\bin


然后执行spark-shell.cmd  ，此时

最低0.47元/天 解锁文章
iaifeini
关注
专栏目录
如何使用SparkMLlib构建分类模型?
02-25
3.预测拖欠贷款（二分类问题）；4.对图片、音频、视频进行分类（多分类问题）；5.对新闻、网页或者其他内容进行分类或者打标签（多分类）；6.发现垃圾邮件、垃圾页面、网络入侵和其他恶意行为；7.检测故障，比如...
Win10环境下运行WordCount案例出错解决方案
FiveCode的博客
10-28 1776
注意是否配置好环境。例如HADOOP_HOME，以及相应的Windows依赖。 如果完成上述，提示的是 ChangeFileModeByMask error(3) 那么我们可以找到你之前在Windows里的Hadoop文件夹，将hadoop.dll复制到C盘的System32（大概率是隐藏的，可以通过搜索找到）中。 那么如果此时运行仍然报错。报错为 Exception in thread "main" 0: No such file or directory 那么此时是IDEA运行的权限不够！
Polar mask错误总结
weixin_43489950的博客
10-11 1923
https://blog.csdn.net/chao_shine/article/details/106838732
大数据开发都有哪些课程？.pdf
最新发布
12-02
3. **数据存储与数据库**：学习NoSQL数据库，如HBase、Cassandra和MongoDB，这些数据库能够处理非结构化和半结构化数据。同时，了解关系型数据库如MySQL或PostgreSQL也有助于理解数据模型和SQL查询。 4. **数据仓库...
基于Kafka的实时计算引擎如何选择？SparkorFlink
02-24
以Spark和Flink为首的实时计算引擎，成为实时计算场景的重点考虑对象。那么，今天就来聊一聊基于Kafka的实时计算引擎如何选择?SparkorFlink?根据IBM的统计报告显示，过去两年内，当今世界上90%的数据产生源于新设备...
ClouderaKudu是什么？
02-24
定位和spark在计算系统中的地位非常相似。如果把mr+hdfs作为离线计算标配，storm+hbase作为实时计算标配。spark+kudu有可能成为未来最有竞争力的一种架构。也就是kafka->spark->kudu这种架构，未来此架构是否会风靡...
VOT目标跟踪测试中mask错误的解决方法
0110的博客
02-12 593
vot目标跟踪测试中，mask错误的解决方法
winutils.exe and hadoop.dll test_ok_on win7_64 python3 spark2.2.0+hadoop2.8.1
12-07
winutils.exe and hadoop.dll 在 win7_64 环境亲测通过，解压的winutils.exe放在...\hadoop-2.8.1\bin\下，hadoop.dll放在...\Windows\system32\下， 我安装的是Java 1.8.0_151，python3.6.3，spark2.2.0+hadoop2.8.1，注意版本匹配，太高的版本可能会报错，JAVA_HOME, SPARK_HOME，HADOOP_HOME和相应path的环境变量配置好，hive权限配置好，参考指令：winutils.exe chmod 777 D:\tmp\hive，如果metastore_db下的service.properties缺失，可以删除metastore_db文件夹会自动重建
Spark (null) entry in command string: null chmod 0700
tom_fans的博客
12-27 2751
使用ecplise来提交SPARK SQL的时候报错： Exception in thread "main" org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: java.io.IOException: (null) entry in command string: null chmod 0700 C:\Use...
windows环境下安装spark，winutils.exe 报错
GameOverTryAgain的博客
05-14 3358
 安装hadoop winutils，下载链接https://github.com/steveloughran/winutils， 选择你要的hadoop版本号，比如2.8.1，你只需要下载winutils.exe，然后拷贝到C:\Hadoop\bin文件夹中。创建系统变量HADOOP_HOME，为C:\Hadoop，添加%HADOOP_HOME%\bin到PATH变量中 以管理员身份打开cmd，...
IDEA/scala问题汇总
小心小梦
07-29 1443
近期所遇到小问题的汇总 近期因为在公司实习，接触一些工程上的东西，主要涉及Scala/spark/Hadoop/Java以及IDEA这样的一些环境或包，也就会遇上一些稀奇古怪的小问题，忙里偷闲记录下来方便自己查阅使用。 主要操作参考一个博客地址如下（反正我是用着很开心，大体按他操作来没什么问题）： 通过IDEA搭建scala开发环境开发spark应用程序 https://www....
win7系统 spark 安装配置及排错
SunnyGJing’s blog
05-04 3670
日期：17.5.1-5.4 我原本计划在Linux Ubuntu系统上安装Spark，网上教程和攻略细细读了几篇，准备工作基本就绪，却唯独差了一个u盘。为了赶时间，不因此拖进度的后腿，临时起意转战windows。 对于我来说，在Linux系统上安装和配置Spark是一件麻烦事，没有接触过，学习各种代码命令需要花费比较多的时间。Windows系统操作比较熟悉，排错会更容易一些。 安装
spark on yarn 报 org.apache.hadoop.util.Shell$ExitCodeException: 问题
xinganshenguang的博客
12-12 3546
今天把新数据中心基于 spark 1.6 jdk 1.7 hadoop2.7的scala程序 拿到老数据中心jdk1.6/jdk.17 hadoop 2.2 环境 进行 spark on yarn测试 使用spark-shell 或者 spark-submit 提交时报如下错误org.apache.hadoop.util.Shell$ExitCodeException: at
Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException
热门推荐
来啊 快活啊
08-24 1万+
新搭建了个集群，搭建完了，运行 2014-08-24 02:24:02,456 INFO org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl: Application application_1408860487557_0002 failed 2 times due to AM Container for appat
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值