Win10环境下运行WordCount案例出错解决方案

最新推荐文章于 2024-05-22 08:42:12 发布
最新推荐文章于 2024-05-22 08:42:12 发布
阅读量1.4k 收藏 1
点赞数 1
分类专栏： Hadoop入门 文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Chengzheng119/article/details/121024893
版权

注意是否配置好环境。例如HADOOP_HOME，以及相应的Windows依赖。

如果完成上述，提示的是

ChangeFileModeByMask error(3)

或者

Exception in thread "main" 0: No such file or directory

那么我们可以找到你之前在Windows里的Hadoop文件夹，将hadoop.dll复制到C盘的System32（大概率是隐藏的，可以通过搜索找到）中。

或者可能此时DEA运行的权限不够！

关闭工程，使用管理员运行即可。

正橙橙橙橙
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
当hadoop集群进行wordcount失败时
weixin_52945388的博客
12-04 560
Hadoop各种疑难杂症
Hadoop运行WordCount示例出现的一些问题及解决办法
aaronhanfei的专栏
03-30 994
博客标题起的真别扭。。 :evil: 先说两点： 1.用cygwin伪分布式环境运行的。 2.hadoop开发者第一期里有个DFSOperator的示例，那个更简单，怎么打jar包，怎么运行之类的问题可以先参见一个那篇文章。 运行WordCount示例遇到了两个问题： a. ***/work/tmp does not exist的问题 解决办法：配置conf/mapred-sit...
Hadoop运行wordcount实例任务卡在job running的多种情况及解决方法
最新发布
NBA首席形象大使坤坤
05-22 3291
第一种：配置问题 这是别人的图片，据楼主排查解决是因为hosts配置问题？？？我想知道hosts没配置好，Hadoop是怎么撑到MR的… 现象：各种无法运行、启动 解决办法： 1、修改日志级别 export HADOOP_ROOT_LOGGER=DEBUG,console 查看下详细信息，定位到具体问题解决 第二种：服务器问题 **现象：**运行到job时卡住不动 **原因：**服务器配置低下，内存小或磁盘小 **解决办法：**修改yarn.site.xml配置 <!--每个磁盘的磁盘利用率百分比
windows运行自己编写的wordcount时遇到的问题
weixin_43271145的博客
05-17 904
运行一个最简单的wordcount，本以为不会出现问题的谁知道一运行就直接报错。hadoop版本3.1.0。代码太简单了就不放上来了。系统：win11专业版。
Win7 运行Hadoop WordCount 报错
猎人在吃肉
11-25 4148
在Win7下配置好hadoop集成eclipse开发环境后， 运行WordCount程序的时候，有可能会报内存溢出异常： java.lang.OutOfMemoryError: Java heap space at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.(MapTask.java:781) at o
hadoop搭建完成后，记录执行wordcount遇到的坑
海边看花开的博客
11-20 358
1 Error Launching job : org.apache.hadoop.mapred.SafeModeException: JobTracker is in safe mode 解决办法： 关闭安全模式 hadoop dfsadmin -safemode leave 2 /usr/bin/hadoop-config.sh: No such file or directory ...
centos下配置hadoop环境并运行wordcount程序
10-19
最详细hadoop配置教程！centos下完美运行wordcount程序，从无到有，初学者必备！我自己亲自试了一遍并加以修改，准确无误～
Hadoop环境搭建及wordcount实例运行.pdf
07-14
Hadoop环境搭建及wordcount实例运行.pdf
eclipse下运行wordcount
10-19
window 下eclipse远程访问伪分布式hadoop 运行wordcount
linux环境下运行Eclipse用来测试WordCount示例
03-08
linux环境下，创建eclipse的快捷方式，并且在eclipse中运行示例，查看hdfs中的文件目录
Hadoop集群_WordCount运行详解--MapReduce编程模型
02-26
MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。　在...
winutils.exe and hadoop.dll test_ok_on win7_64 python3 spark2.2.0+hadoop2.8.1
12-07
winutils.exe and hadoop.dll 在 win7_64 环境亲测通过，解压的winutils.exe放在...\hadoop-2.8.1\bin\下，hadoop.dll放在...\Windows\system32\下， 我安装的是Java 1.8.0_151，python3.6.3，spark2.2.0+hadoop2.8.1，注意版本匹配，太高的版本可能会报错，JAVA_HOME, SPARK_HOME，HADOOP_HOME和相应path的环境变量配置好，hive权限配置好，参考指令：winutils.exe chmod 777 D:\tmp\hive，如果metastore_db下的service.properties缺失，可以删除metastore_db文件夹会自动重建
Windows上运行第一个wordCount的时候报错Exception in thread “main“ 0: No such file or directory
阿年的博客
12-22 532
Windows上运行第一个MapReduce程序-WordCount报错： Exception in thread "main" 0: No such file or directory
pyspark 下 Spark Streaming 启动监听文件流 时报错及解决方法。
09-27 417
写好对文件流的监听脚本 执行ssc.start() 时报错显示： An error occurred while calling z:org.apache.spark.streaming.api.python.PythonDStream.callForeachRDD. 无法启动监听进程 在环境变量中添加： export SPARK_YARN_USER_ENV=PATHONHAS...
Hadoop-Exception in thread "main" 0: No such file or directory解决方案
MercyFreedom的博客
11-07 2891
Hadoop项目出现No such file or directory错误 错误如图所示 如果项目打包到虚拟机上运行没有错误，但是从eclipse中用Hadoop插件运行有错，可能是因为eclipse的权限不够。用管理员身份重新运行eclipse，然后运行项目，成功。 ...
input.invalidinputexception: input path does not exist
weixin_45143340的博客
05-31 699
在运行wordcount是出现了上面的问题，文件也在hdfs文件系统上。问题出现在了
在windows上用eclipse远程运行hadoop上的wordcount程序出现的问题，求解决
qq_417174491的专栏
12-22 1743
WordCount源代码如下： package org.apache.hadoop.examples; import java.io.IOException;import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;i
Hadoop错误2_Hadoop伪分布式下，运行WordCount时，Input path does not exist错误原因
热门推荐
wang_zhenwei的博客
08-12 3万+
在伪分布式下，按照下面两个博客，分别以命令行方式和Eclipse执行WordCount程序时，都会出现同样的错误， （Eclipse：http://blog.csdn.net/wang_zhenwei/article/details/47422775） （命令行方式：http://blog.csdn.net/wang_zhenwei/article/details/47439623）
windows下搭建spark环境出现ChangeFileModeByMask error (3): ???????????
iaifeini的博客
12-05 6106
我按照着 Spark在Windows下的环境搭建这个博主的教程搭建spark，在执行 inutils.exe chmod 777 /tmp/Hive 这一步一直出现ChangeFileModeByMask error (3): ??????????? 这个问题困扰了我一下午，直到我突然发现了这么一个解决办法。 1.使spark成功启动 命令提示符（CMD）进入hadoop的bin目
spark开发环境搭建+wordcount案例
06-28
### 回答1： Spark开发环境搭建： 1. 安装Java环境：Spark运行需要Java环境，可以从Oracle官网下载JDK并安装。 2. 下载Spark：从Spark官网下载Spark安装包，解压到本地目录。 3. 配置环境变量：将Spark的bin目录添加到系统环境变量中。 4. 启动Spark：在终端中输入spark-shell命令，启动Spark。 WordCount案例： 1. 准备数据：将需要统计的文本文件放在本地或HDFS上。 2. 编写代码：使用Scala或Java编写WordCount程序，读取文本文件并进行单词计数。 3. 打包程序：将程序打包成jar包，以便在Spark上运行。 4. 提交任务：使用spark-submit命令提交任务，指定jar包和输入输出路径。 5. 查看结果：任务执行完成后，查看输出路径中生成的结果文件，即为单词计数结果。 ### 回答2： Spark是一个流行的分布式计算框架，可以为海量数据提供快速、高效的处理能力。要进行Spark开发，需要先搭建好相应的开发环境。在这里，我们以wordcount案例为例，介绍如何搭建Spark开发环境。 1.安装Java环境 Spark需要Java环境的支持，因此需要在计算机上安装Java环境。可以去Java官网下载相应版本的JDK安装包，然后按照提示安装即可。 2.安装Spark 在Spark官网上下载最新版本的Spark，并解压到指定目录。接着，需要根据实际需求进行一些配置，比如配置环境变量等。 3.写wordcount程序 这里我们以Scala语言为例，写出一个简单的wordcount程序。代码如下： ``` import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("WordCount").setMaster("local") val sc = new SparkContext(conf) val input = sc.textFile("input.txt") val words = input.flatMap(line => line.split(" ")) val counts = words.map(word => (word, 1)).reduceByKey(_ + _) counts.collect().foreach(println) } } ``` 该程序功能是读取指定文件，统计文件中每个单词的出现次数，并输出到控制台上。 4.执行wordcount程序 在完成wordcount程序的编写后，可以运行Spark系统来测试该程序的执行效果。运行命令如下： ``` ./bin/spark-submit --class WordCount --master local WordCount.jar ``` 其中WordCount是程序的主类名，--master local指定Spark程序运行在本地模式下，WordCount.jar是程序打包后的jar包文件。如果一切正常，此时程序就会开始执行，输出每个单词的出现次数。 到此为止，Spark开发环境搭建及wordcount案例的实现就完成了。在实际的开发工作中，还需要根据具体需求加以完善和优化，提高Spark的效率和稳定性。 ### 回答3： Spark是一个分布式计算引擎，可以处理大规模的数据集。在这篇文章中，我们将介绍如何在Windows系统上搭建Spark的开发环境，并使用Spark编写一个Word Count案例。 1.下载并安装Java JDK 首先，你需要下载并安装Java JDK。你可以在Oracle网站上下载最新版本的Java JDK。 2.下载并安装Spark 接下来，你需要从Spark官网上下载最新版本的Spark并解压缩它。你可以下载带有预构建“binaries”的版本，并且不需要对Spark进行任何重新编译。 3.配置环境变量 接下来，你需要配置环境变量，以便在系统中设置SPARK_HOME和Path。要设置这些变量，你需要按照以下步骤进行操作： 1）右键单击“此电脑”，然后单击“属性”。 2）单击“高级系统设置”。 3）单击“环境变量”。 4）在“系统变量”下，单击“新建”。 5）在“变量名”中输入SPARK_HOME，在“变量值”中输入Spark的安装路径。 6）在“系统变量”中找到Path，单击“编辑”。 7）在路径的末尾添加%SPARK_HOME%\bin。 8）单击“确定”以保存更改。 4.编写Word Count案例 接下来，你可以开始编写你的Word Count案例。Word Count案例是Spark开发中的最经典的案例之一，其任务是统计给定文本中每个单词出现的次数。 Spark使用Scala编写，因此你需要了解Scala语言的基础知识。以下是一个简单的Word Count案例： ``` import org.apache.spark.SparkConf import org.apache.spark.SparkContext object WordCount { def main(args: Array[String]) { val conf = new SparkConf().setAppName("Word Count").setMaster("local") val sc = new SparkContext(conf) val textFile = sc.textFile("input.txt") val counts = textFile.flatMap(line => line.split(" ")) .map(word => (word, 1)) .reduceByKey(_ + _) counts.saveAsTextFile("output.txt") sc.stop() } } ``` 在这个程序中，我们首先创建了一个SparkConf对象和SparkContext对象。接下来，我们使用SparkContext来读取输入文件，然后使用flatMap()函数将每行文本拆分成单词。之后，我们使用map()函数将每个单词的出现次数设置为1，接着使用reduceByKey()函数将每个单词的次数相加。最后，我们将计数结果保存到输出文件中。 5.运行Word Count案例 在本地模式下，你可以使用以下命令行来运行Word Count案例： ``` $SPARK_HOME/bin/spark-submit \ --class WordCount \ --master local[*] \ target/scala-2.11/word-count_2.11-1.0.jar input.txt output.txt ``` 在这个命令中，我们指定了Spark应用程序的名称为Word Count，并将启动模式设置为local。我们还指定了输入和输出文件的路径。 总结 在本文中，我们介绍了Spark的开发环境搭建和Word Count案例的编写和运行。使用Spark进行大规模数据处理可提高处理效率和质量，并且易于扩展和部署。Spark的适用范围非常广泛，可以用于各种领域的大数据处理，如金融、医疗等。希望本文能帮助你在开发中更好地利用Spark。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值