关于MapReduce代码觉得没大问题但就是运行不出来也不报错的一个可能小错误

最新推荐文章于 2022-10-03 18:01:44 发布
最新推荐文章于 2022-10-03 18:01:44 发布
阅读量3.1k 收藏 2
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BabyYang2048/article/details/89705111
版权

运行没有报错，也没有打印函数中的数据，output文件夹也创建成功，但是查看时

发现output文件下并没有输出文件

这时候检查代码觉得没有问题，直至发现了下图

应该为下图，mapper和reducer的输出数据的key和value类型调用的方法是不一样的

之前楼主粗心了这里没注意，初学者这里一定要注意啊啊啊啊啊啊啊！

改了之后就运行成功了！nice~

祝大家好运~

BabyYang2048
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 13
    评论
执行mapreduce没报错，可是任务运行到running job就卡住在INFO mapreduce.Job: Running job: job_1653745295904_0001
ssn520的博客
05-28 608
执行mapreduce没报错，可是任务运行到runningjob就卡住在INFO mapreduce.Job: Running job: job_1653745295904_0001 使用官方部署的正则进行测试 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar grep input output 'dfs[a-z.]+' 也是一样，运行到INFO mapreduce.Job: Running job:.
Hadoop学习全程记录-在Eclipse中运行第一个MapReduce程序.docx
06-02
在本文中，我们将深入探讨如何在Eclipse环境中编写并运行你的第一个MapReduce程序，这是一个针对Hadoop初学者的教程。Hadoop是一个开源框架，用于处理和存储大量数据，而MapReduce是Hadoop的核心计算模型，它将...
MapReduce 运行成功但没有output问题解决
akk123456789的博客
07-29 2671
今天运行wordcount的时候发现控制台打印exit0，但是没有输出文件的问题。（“hadoop”是我设置的虚拟机用户名称）
hadoop集群执行mapreduce程序没有报错但无输出文件/ hadoop sqoop将hdfs数据存到mysql时卡死在map 100% reduce 0%
bb123116的博客
12-24 2208
每个map 和reduce任务的物理内存限制有问题 修改/hadoop安装路径/etc/hadoop/yarn-site.xml文件 添加 <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>22528</value> </property> <property> <
MapReduce设置Map和Reduce函数，但是map输出结果后，reduce没有输出，也没有报错
zz0548的博客
05-10 5066
主要原因是reduce输入的格式和map输出的格式不一致，请注意查看格式匹配！
执行mapreduce程序时直接退出，没有报错
904897655
11-25 1272
运行mapreduce程序时直接退出 运行没有任何报错，什么错误都没，查看日志也没，但是就是忘看代码了 结果只因为少了下面这一行
Mapreduce不设置reduce，只执行map的输出结果
热门推荐
yongjian_luo的专栏
08-14 1万+
在写MR程序时候，有时我们不需要reduce，比如对原始数据做Format等，这样我们再MR程序中就不需要写reduce函数，同样在main函数配置中也不需要reduce相关的配置信息 ，在MR执行的过程中，会为MR生成一个系统自带的reduce，这个reduce是系统为了保持框架的完整性自动调用的reduce函数，但这个函数并不做shuffle和数据拖去，生成的结果文件就是map的输出文件，也
Hadoop-MapReduce项目代码ZIP压缩包 + 面向小白(注释详细清晰)
12-24
这个项目代码ZIP压缩包是为初学者设计的，特别适合那些对MapReduce不熟悉但希望深入理解这一领域的“小白”用户。它提供了详细的注释，使学习过程更加清晰易懂。 MapReduce是一种编程模型，由Google提出，用于大...
MapReduce作业运行流程
01-07
MapReduce采用了Master/Slave架构，包括一个Master和若干个Slave，Master上运行JobTracker，Slave运行TaskTracker JobTracker：初始化作业，分配作业，TaskTracker与其进行通信，协调监控整个作业 TaskTracker：定期...
MapReduce:一些示例 MapReduce 代码
06-21
一个充满示例 MapReduce 代码的存储库。 要求 这些示例只需要一本好的电子书即可。 一个受欢迎的地方是 。 一旦你有一两本书，它们必须放在 HDFS 上的输入目录中才能使这些示例工作。 项目 这是所有项目的列表以及...
hadoop MapReduce运营商案例关于用户基站停留数据统计+源代码+文档说明
最新发布
12-29
hadoop MapReduce运营商案例关于用户基站停留数据统计+源代码+文档说明 -------- 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分...
IDEA 执行Mapreduce 程序
Axel_Fran的博客
12-07 2459
以下提到三种方式 方式1： 首先在windows 的IDEA写好代码，代码中不指出 在哪运行，就是本地运行。即在windows 运行环境。此时需要满足以下条件： -- 下载hadoop 安装包，解压。 -- 百度 “hadoop winutils”. 找到这个这个资源。选择对应hadoop版本号。然后应该会是一个 bin 文件夹，其中就包含了winutils.exe。将这个 文件夹复制到 先前解压的hadoop 安装包中，替换掉安装包中的 bin 文件夹。 -- 最后在这个bin文件夹中找到 had
IDEA运hadoop的MapReduce项目报错，代码没错，什么都没有错，但是就是报错，没有运行结果的文件
qq_58586778的博客
10-03 749
IDEA运hadoop的MapReduce项目报错，代码没错，什么都没有错，但是就是报错，没有运行结果的文件
关于在idea运行本地MapReduce的问题
mianhuatang__的博客
01-10 1208
在idea运行一个很普通的wordcount 所需环境,反正也不知道是不是这样,就都配了 没配之前一直报错 Could not locate executabl ....\hadoop-2.7.3\hadoop-2.7.3\bin\winutils.exe in the Hadoop binaries 配置完毕之后重启电脑就OK了. 下面是pom依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="htt.
在idea里运行调试Mapreduce程序，学习中......
weixin_44754632的博客
04-10 658
目前已知三种方式，前提在VMware中搭建了Hadoop于Linux虚拟机中的运行环境。 1、在Linux中下载Idea并配置maven环境，复制网上代码，在src/main/java文件夹下新建WordcountDriver.class、WordcountMapper.class、WordcountReducer.class，调整configurations确定输入输出文件位置，启动hadoop...
MapReduce没有输出，得到一个空的文件夹可能的原因
Lucky小黄人的博客
05-24 5965
1. Map输出类型和Reducer的输入类型对不上 注意： 当Mapper的输出类型和Reducer的输出类型是一样的时候，可以仅设置Reducer的输出类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); 当时当当Mapper的输出类型和Reducer的输出类型是一样的时候，除了设置R...
探讨MapReduce失败的几种情形
andyguan01_2的博客
04-22 3454
在现实情况中，程序运行可能遇到各种故障：用户代码错误不断、进程崩溃、机器故障等等。使用Hadoop最主要的好处之一是它能处理此类故障并让你能够成功完成作业。五门需要考虑以下实体的失败：任务、application master、节点管理器和资源管理器。 1、任务运行失败 首先考虑任务失败的情况。最常见的情况是map任务或reduce任务中的用户代码抛出运行异常。如果发生这种情况，任务JVM会在退出...
关于MapReduce运行的常见问题
L
01-28 696
  日志 错误信息，如下： log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http:/...
Hadoop（21）：MapReduce开发过程中常见错误及解决方案
yang_shibiao的博客
05-03 1816
目录 0. 相关文章链接 1. 导包出错 2. 输入参数 3. java.lang.Exception: java.io.IOException: Illegal partition for 13926435656 (4) 4. 是否执行分区过程 5. windows和Linux环境冲突 6.找不到文件异常 7.报类型转换异常 8.集群中运行wc.jar时出现了无法获得输入文件 9.出现了如下相关异常 10.输出的文件内容中数据为空 0. 相关文章链接 Hadoop 文章...
mapreduce报错
05-27
如果您的MapReduce程序在运行时报错，通常会输出错误信息和堆栈跟踪信息。根据错误信息和堆栈跟踪信息，您可以尝试确定错误的原因并采取相应的措施。以下是一些常见的MapReduce错误和处理方法： 1. ClassNotFoundException：如果您的MapReduce程序无法找到某个类，请确保该类已经编译并包含在您的JAR文件中。您还可以尝试将相关类添加到Hadoop的类路径中。 2. IOException：如果您的程序在读取或写入文件时出现IO错误，请确保文件存在并且具有正确的权限。您还可以尝试检查您的磁盘空间是否足够。 3. NullPointerException：如果您的程序出现空指针异常，请检查您的程序中是否有未初始化的变量或对象。您还可以尝试在程序中添加调试语句以确定哪个变量或对象为空。 4. OutOfMemoryError：如果您的程序在运行时出现OutOfMemoryError，请尝试增加您的MapReduce任务的内存限制。您可以使用mapreduce.map.memory.mb和mapreduce.reduce.memory.mb配置属性来增加任务的内存限制。 5. Task attempt fail：如果您的程序在运行时出现Task attempt fail错误，请检查您的MapReduce任务是否超时或失败。您可以尝试增加您的MapReduce任务的超时限制或重试该任务。 如果您无法解决问题，请查看Hadoop的官方文档或在线社区以获取更多帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值