Hadoop计算wordcount输出文件夹为空

最新推荐文章于 2024-07-25 09:48:00 发布
最新推荐文章于 2024-07-25 09:48:00 发布
阅读量815 收藏 4
点赞数 1
分类专栏： 大数据 文章标签： 大数据 hadoop Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_53411329/article/details/129776252
版权

报错信息：

程序执行在这里就退出了，上网找了很多解决方法，重新初始化了好多次都没有解决。

重新初始化之前一定要删除一些文件，否则可能会没有DataNode。解决方案参考：【问题解决】Hadoop集群启动后执行JPS没有DataNode或NameNode_hadoop集群没有namenode_wydxry的博客-CSDN博客

下面来说一下我的问题：

我是因为在我上传的word.txt文件的最后多了一个空行导致程序无法继续运行，

这个在Hadoop101上运行是没有问题的

但是在集群上执行就会出问题，找到了问题所在，那就将最后一行的空行删掉就可以啦！！

将空格删除后，再次执行

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput

就可以得到下想要的结果了

momo本mo
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop集群执行jar wordcount 没有输出结果
weixin_43734734的博客
04-20 1004
时，第一次执行报错Could not find or load main class ，参照csdn博客。能够正常的执行wordcount jar 并且hdfs能正常生成。2.在yarn-site.xml里添加1的输出结果。这时候能正常执行程序，但hdfs无输出结果。依旧没解决问题，直到我翻阅博客找到一条留言。然后我加上/word.txt再次执行。在执行Hadoop集群运行。
wordcount程序中，输出文件夹中为空
小李的博客
03-23 1599
ShuffleError: error in shuffle in localfetcher#1问题解决办法 问题 WIndows10 下使用IDEA本地调试wordcount出现如下错误 2021-03-05 11:11:41,311 WARN [org.apache.hadoop.mapred.LocalJobRunner] - job_local1291814541_0001 java.lang.Exception: org.apache.hadoop.mapreduce.task.reduce.Sh
使用hadoop实现WordCount实验报告.docx
06-10
使用hadoop实现WordCount详细实验报告，配有环境变量配置截图以及实验运行及结果详细过程描述与截图
hadoop初学之单机模式
菜鸟一部击
03-07 1084
第一步：首先确定linux安装好了java可以查看安装的java版本（注安装时要配置环境变量）第二步：进入已经解压好的hadoop目录中上图就是我解压到的目录第三步：配置hadoop参考hadoop官网给出的步骤：我自己的配置过程：      1、进入解压的hadoop的etc/hadoop目录里找到hadoop-env.sh文件(可以使用xftp5找到，使用Notepad++打开)      2...
hadoop进行wordcount测试时，没有wcoutput,或者wcoutput没有两个文件
Aige_hml的博客
06-14 742
有博主说是因为word.txt里面存在空行，把空行删除就可以了，但是对我没有用；也有博主说是应该在wcinput/word.txt,但是我也试过没有用，后来等了十几分钟自己又重新运行了命令，就直接出来了，很无语，wcoutput好像有没有都没有影响，这小小的bug卡了两个小时，小白真的很痛苦。wordcount在页面上运行不出来，只出个temp，去/opt/module/hadoop-3.1.3/etc/hadoop里vim mapred-site.xml 添加。
hadoop-wordcount后找不到wcoutput
yuantuiwan3221的博客
06-04 1025
用hadoop fs
[已解决]Spark执行wordcount找不到文件
雷神乐乐的博客
03-31 414
[已解决]Spark执行wordcount找不到文件
Hadoop 分析统计学生考试成绩1
08-08
使用 Hadoop 对成绩进行统计，这里需要设置命令行参数为 input 和 output，前者是 csv 文件的路径，后者是 Hadoop 任务结束后，将结果输出的路径。 * 运行网页程序：只需要执行 SpringApplication.run...
Hadoop演示文稿jjjjjjjjj
01-30
1. 在HDFS文件系统上创建一个input文件夹：bin/hdfs dfs -mkdir -p /user/ctt/mapreduce/wordcount/input 2. 将测试文件内容上传到文件系统上：bin/hdfs dfs -put wcinput/wc.input /user/ctt/mapreduce/wordcount/...
Hadoop演示文稿2
01-30
Hadoop是一种流行的分布式计算框架，通过配置Hadoop集群，可以实现大规模数据处理。下面将详细介绍Hadoop集群的配置和MapReduce程序的执行。 一、Hadoop集群配置 1. 配置hadoop-env.sh文件，添加export JAVA_HOME=...
hadoop安装及详细学习笔记
03-02
2. **WordCount 计算逻辑**：WordCount 是经典的 MapReduce 示例，演示了如何统计文本文件中单词出现的次数。 3. **MapReduce 代码编写及执行过程**： - 编写 Map 函数，处理输入数据并生成中间键值对。 - 编写 ...
MapReduce 运行成功但没有output问题解决
akk123456789的博客
07-29 2685
今天运行wordcount的时候发现控制台打印exit0，但是没有输出文件的问题。（“hadoop”是我设置的虚拟机用户名称）
hadoop运行 jar包
npcomplet的博客
10-24 1510
问题描述：hadoop运行jar包时一直显示路径不存在，经调整路径后再次运行jar包，显示文件不存在。 原因：由于core-site.xml事先配置过路径的原因，会先读取hdfs文件系统上的文件，导致出现文件不存在的错误，删除core-site.xml中的有关配置得以解决 ...
hadoop完全分布式启动无结果
qq_58190654的博客
11-19 843
【第三种方法：】在Hadoop1和Hadoop2的sbin下先输入start-dfs.sh，接着输入start-all.sh。然后，家人们，蚌湖不住啦，最后发现是因为没有进入sbin下去start，所以我的问题得到解决。【第一种方法：】在sbin下查找start-dfs.sh和stop-dfs.sh两个文件，在其顶部都添加上。先【cd ~】一下回到目录，接着【vim /etc/profile】在环境变量中添加以下配置。在start-yarn.sh和stop-yarn.sh两个文件的顶部都添加上。
hadoop伪分布安装完成后运行hadoop自带的example出错
weixin_41974036的博客
04-19 360
使用hadoop-mapreduce-examples-2.7.7.jar计算圆周率 遇到的错误： 1、一直卡在running job这一步，，等了好久都没反应 后来想到之前虚拟机分配的内存、硬盘空间都太小，有可能是这个原因，然后就对其进行扩容，扩容后，果然解决了这个问题！ 对虚拟机进行扩容可以参考这位大佬的文章 https://www.cnblogs.com/Sungeek/p/908451...
hadoop报错之bug3---hadoop的output目录已经存在
知也无涯
11-21 4251
一:bug截图 Output directory hdfs://server2:9000/wordcount/input already exists 二:原因分析 1:写了同一个参数 2:还有可能就是该目录已经存在 三:解决方案 output目录必须不存在的,如果存在,需要删掉 1:使用hadoop命令行删除 hadoop fs -rm -r ...
hadoop单机安装
不会说普通话的程序员
04-27 804
1. 上传tar包 2. 解压 3. 配置jdk环境 4. 进入/usr/local/src/hadoop-2.7.2/etc/hadoop 6. 修改hadoop-env.sh文件里面的jdk环境变量 7. 配置环境变量：vim/etc/profile HADOOP_HOME=/usr/local/src/hadoop-2.7.2/ export PATH=$H...
分布式系统常见软件架构模式
最新发布
Ben的专栏
07-25 951
简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。
hadoop运行wordcount无输出
03-16
可能的原因有很多，以下是一些可能的解决方法： 1. 检查输入文件路径是否正确，确保输入文件存在且路径正确。 2. 检查输出文件路径是否正确，确保输出文件路径存在且路径正确。 3. 检查hadoop集群是否正常运行，确保hadoop集群正常运行。 4. 检查hadoop配置文件是否正确，确保hadoop配置文件正确。 5. 检查程序是否正确编写，确保程序正确编写。 6. 检查程序是否正确打包，确保程序正确打包。 7. 检查程序是否正确运行，确保程序正确运行。 8. 检查日志文件，查看是否有错误信息。 9. 检查hadoop的日志文件，查看是否有错误信息。 10. 检查hadoop的日志文件，查看是否有输出信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值