Hadoop Wordcount案例bug记录

最新推荐文章于 2023-09-24 18:31:52 发布
最新推荐文章于 2023-09-24 18:31:52 发布
阅读量1.8k 收藏
点赞数
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaonuoyo/article/details/124196536
版权
本文记录了在Hadoop3.x环境下执行Wordcount案例时遇到的一个bug，由于集群中节点时间不同步，导致执行jar指令失败。错误信息提示104集群时间不匹配。在未调整时间的情况下，通过指定输入文件，可以成功获得运算结果。目前集群状态正常，但执行jar包仍需提供文件名。
摘要由CSDN通过智能技术生成

Hadoop3.x Wordcount案例bug记录

由于之前设置集群时间同步的时候估计是没注意把第三台时间设置与其他两台不一致
在这里插入图片描述
导致每次执行jar指令都显示failed在这里插入图片描述
执行指令：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output9

只创建文件夹，但不输出reduce结果

在这里插入图片描述
日志信息显示大概意思是104集群时间不匹配 ，但是在我没修改集群时间的情况下 执行如下指令 能正确得到运算结果 - -。

jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input/word.txt /output10

在这里插入图片描述

给输入路径下加上要执行的文件名即可。
在这里插入图片描述
目前集群一切正常 就是执行jar需要加文件名

说实话 有点看不懂了

小诺_ch
关注
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput报错
qq_42254537的博客
08-03 5232
执行hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput报错 报错信息 Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster Please check whether your etc/hadoop/mapred-site.xml contai
hadoop集群执行jar wordcount 没有输出结果
weixin_43734734的博客
04-20 1129
时，第一次执行报错Could not find or load main class ，参照csdn博客。能够正常的执行wordcount jar 并且hdfs能正常生成。2.在yarn-site.xml里添加1的输出结果。这时候能正常执行程序，但hdfs无输出结果。依旧没解决问题，直到我翻阅博客找到一条留言。然后我加上/word.txt再次执行。在执行Hadoop集群运行。
hadoop集群在进行wordcount运行时而成功时而错误
weixin_47109902的博客
02-07 248
在yarn-site.xml中添加如下配置信息，然后重启yarn。1.多运行几遍代码。有可能会运行成功，几率问题。
尚硅谷33集 为什么用jar包的wordcount 在hdfs上无法显示
m0_61853107的博客
08-24 131
每次没有成功记得把/output删一下，这样再运行hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input/word.txt /output能重新启动。我发现跑hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input/word.txt /output时，出现了这样的代码。
Hadoop------hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar进程无法向下运行
d_eng_的博客
07-12 3927
执行jar包时，卡住不会动一般卡在两个地方 第一个是提交不到集群 第二种是提交到集群之后，不会往下运行
Hadoop 之Mapreduce wordcount词频统计案例
Dangerous的博客
08-05 7964
首先我们来看一张描述MapReduce运行过程的图。 首先input就是输入文件。 spliting:把文件按行经行拆分。 Mapping：把每行的word进行计数。 Shuffing:混洗。将相同的word分发到相同的节点。 Reduceing：对每个节点的word进行统计。 以上就是简单的Mapreduce作业过程。下面看下官网的介绍： A MapReduce job ...
在Hadoop伪分布的时候遇到的一些问题
yanhaoshi的博客
07-08 819
这几天在学习Hadoop，本地模式运行自带的wordcount案列很顺利，想继续在伪分布式的模式下运行wordcount案列，遇到了一些奇葩的bug，现在想记录下来，以后如果再次遇到了，可以重新查阅一下，我这里使用的Hadoop版本是 Hadoop3.2.1 。 具体的伪分布式环境搭建有许多的教程，在网上可以查阅到，跟着教程一步一步走是可以出来的，这里附上几个不错的教程 1、开启NameNode的时候报错 在sbin目录下，可以下面的命令可以开启NameNode $hdfs --daemon start n
大数据-Hadoop-云服务器的搭建
weixin_45532984的博客
03-22 5895
一. 云服务器的购买及其设置 1. 服务器的选择及购买 2. 配置安全组规则（开放端口） 3. xshell登录，无密登录，密钥设置 二. Hadoop及JDK安装 1. Hadoop以及JDK版本选择 2. Hadoop以及JDK上传云端 3. scp命令, sync命令以及集群分发脚本xsync 4. 添加环境变量 5. 安装完成后的校验 三. Hadoop配置文件 1. core-site.xml 2. hdfs-site.xml 3. yarn-site.xml 4. m
hadoop安装教程
weixin_44312107的博客
07-14 728
第3章 Hadoop运行环境搭建（开发重点） 完整hadoop课程： https://item.taobao.com/item.htm?ft=t&id=623286114101 3.1 虚拟机环境准备 克隆虚拟机 修改克隆虚拟机的静态IP 修改主机名 关闭防火墙 创建atguigu用户 配置atguigu用户具有root权限（详见《尚硅谷大数据技术之Linux》） 7．在/opt目录下创建文件夹 （1）在/opt目录下创建module、software文件夹 [at
Hadoop本地测试wordcount案例
07-16 317
先创建一个文件目录wcinput,用于存放数据 mkdir wcinput 创建文件word vim word.txt 郭志浩 郭志浩 郭志浩 王欢 韩奔 韩奔 返回上一级目录 cd .. 运行 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput/ ./wcoutput 这里输出的文件不可以被创建 最后会看到出现wcoutput 进去看看 cd wcou.
伪分布部署
Turbedadan的博客
12-12 207
一、部署环境 1.hadoop目录下部署环境配置 配置：hadoop-env.sh配置jdk环境变量JAVA_HOME 配置core-site.xml文件 Vi core-site.xml 指定HDFS中namenode的地址。将命令放到configuration标签中 <configuration> <!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name>
hadoop3.1.3集群配置
ZYN的博客
12-08 1876
文章目录hadoop3.1.3集群配置1、安装软件2、关闭防火墙3、创建hadoop用户4、卸载Linux自带的JDK5、克隆三台虚拟机6、安装jdk、hadoop7、配置环境变量8、本地模式测试9、完全分布式9.1配置SSH免密登录9.2 集群配置9.3 分发配置文件至其他节点9.4 启动集群9.5 各节点服务运行状况jps10、面试题 hadoop3.1.3集群配置 1、安装软件 最小化安装中一些基本命令不存在，因此需要事先安装。 Extra Packages for Enterprise Linu
大数据与云计算——部署Hadoop集群并运行MapReduce集群案例(超级详细！)
最新发布
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
09-24 5044
这篇博客文章详细介绍了如何部署Hadoop集群并运行MapReduce任务。首先，我们将详细解释Hadoop和MapReduce的基本概念，以及它们在大数据处理中的重要性。然后，我们将逐步指导读者如何在多节点环境中部署Hadoop集群，包括硬件和软件的配置，以及如何解决可能遇到的问题。接下来，我们将介绍如何在Hadoop集群上运行MapReduce任务，包括编写MapReduce程序，配置任务，以及监控任务的执行。最后，我们将分享一些优化Hadoop集群性能和MapReduce任务效率的技巧和建议。
Hadoop自带WordCount进行词频统计（mapreduce）
weixin_43322782的博客
12-10 8415
Hadoop自带WordCount进行词频统计 准备： 安装好的Hadoop 需要统计词频txt文件 step1 启动Hadoop cd /usr/local/hadoop ./sbin/start-all.sh 用jps命令查看是否开启成功 准备好需要统计词频的txt文件（也可以用filezilla传入Ubuntu） 链接: 如何用filezilla连接Ubuntu. 找到Hadoop文件所在位置 把需要计算词频的文件放在Hadoop文件下 step2 使用Hadoo
Hadoop之——Hadoop3.x运行自带的WordCount报错Container exited with a non-zero exit code 1.
冰河的专栏
06-26 6256
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/93750832 问题： 今天，基于Hadoop3.2.0搭建了Hadoop集群，对NameNode和Yarn做了HA，但是在运行Hadoop自带的WordCount程序时报错了，具体报错信息为： 2019-06-26 16:08:50,513 INFO mapreduce....
Hadoop本地运行wordcount案例
weixin_40933858的博客
10-27 1331
1.切换到hadoop的安装目录下 cd /usr/local/hadoop-3.2.2/ 2.创建wcinput文件夹 mkdir wcinput 3.创建TXT文件word vim word.txt 在打开的TXT文件中随便输入一些内容，输入完成后按esc键然后按：wq退出保存即可。 4.运行文件 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput/ ./wc..
Hadoop WordCount Eclipse打包与部署教程
在Hadoop环境下，WordCount是经典的MapReduce示例程序，它用于计算文本文件中单词的频率。本文档主要讲解如何在Eclipse中编译和打包WordCount程序，以便于在Hadoop集群上部署和运行。以下是详细的步骤： 1. **...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值