写MapReduce程序时遇到错误Error:Job job_local202008051121_0001 failed with state FAILED due to: NA

最新推荐文章于 2023-03-07 17:07:59 发布
最新推荐文章于 2023-03-07 17:07:59 发布
阅读量6.8k 收藏 4
点赞数
分类专栏： hadoop 文章标签： 深度学习 数据挖掘 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20016465/article/details/107832273
版权

写MapReduce程序时遇到错误Error:Job job_local202008051121_0001 failed with state FAILED due to: NA

查看发现有错误
在这里插入图片描述
很明显输入输出的数据类型是否有问题
仔细比对这里的输入输出数据类型
在这里插入图片描述
在这里插入图片描述

接下来又报错
在这里插入图片描述
很明显是数组越界问题,首先看一下代码是否有问题,如果没有问题,则看一下数据是否有问题
可以采用断点调试或者打印的方式,或者直接打开数据看一下
如果数据量比较大,需要按照指定的格式进行数据清洗
查看代码,这里出现了数组相关
’在这里插入图片描述
可以在这里设置断点,或者打印数据的每一行
最后发现是由于数据里有多余的空白

Da大话程序员
关注
专栏目录
Hive mapreduce job报错解决
涵sir的博客
07-05 2161
问题描述：使用beeline连接hiveserver2，将HDFS上的json格式数据导入到一个临时表，然后再通过insert into ... select ...将数据导入正式表中，但在这一步Hive报错，Error信息为：ERROR : FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 详细报错如下: INFO : Completed compiling command.
练习mapreduce的案例出现错误Job job_local2058909726_0001 failed with state FAILED due to: NA
weixin_43728831的博客
03-06 1万+
在练习mapreduce自定义inputformat的案例时出现以下错误： 2020-03-06 14:20:21,068 INFO [org.apache.hadoop.mapreduce.Job] - Job job_local2058909726_0001 running in uber mode : false 2020-03-06 14:20:21,068 INFO [org.apach...
写MapReduce程序时遇到错误Error: INFO - Job job_local1832672383_0001 failed with state FAILED due to: NA
weixin_54527017的博客
05-26 4540
写MapReduce程序时遇到错误Error:INFO - Job job_local1832672383_0001 failed with state FAILED due to: NA 查看发现有错误 第一次遇到这个问题时候，我查了很久没有查出来~ 网上的资料也很少所以便记录一下这次的bug！！其实原理很简单，我自己类型弄错了哭死~~~ 找寻方法如下~~ 需要重新查看自己所输入的类型是否一致！！ 因此将IntWritable 改为LongWritable就可以了 下图为我的Mapp.
mapreduce.Job: Job job_local510921130_0001 failed with state FAILED due to: NA
qq_46665939的博客
12-19 2027
在写MapReduce程序时出现： Job job_local510921130_0001 failed with state FAILED due to: NA 解决方案： 检查输入文件发现，输入文件中多出了一个空行。将空行去掉，再次运行得到成功！
mapreducer报错
m0_53676680的博客
11-27 374
Job job_local393972960_0001 failed with state FAILED due to: NA 这个问题出现代表你代码里面有错误，各个错误不尽相同，我的错误是在map阶段输出的kv值，在写driver时设置错误写反了，以后有错误还会再发帖 ...
Hadoop学习三十四：Hadoop-MapReduce Job本地运行流程
zy19982004的专栏
03-27 335
一. 版本环境      以前工作的过程中，陆陆续续看过一些Hadoop1.0 MapReduce的源码，但没有形成体系。现在再次来看，顺便记录。此次学习版本的是Hadoop2.2.0 MapReduce。环境为直接在Win7下Local模式调试。MapReduce。   二. Job提交流程      从Job waitForCompletion开始 1 Job submit 1...
INFO mapreduce.Job: Job job_local1125850541_0001 failed with state FAILED due to: NA
03-31
The MapReduce job with ID job_local1125850541_0001 has failed due to an unknown reason, as indicated by the message "NA". It is not clear what caused the failure, and further investigation is needed ...
2023-06-11 17:01:33,405 INFO mapreduce.Job: Job job_local1793376280_0001 running in uber mode : false 2023-06-11 17:01:33,408 INFO mapreduce.Job: map 0% reduce 0% 2023-06-11 17:01:33,409 INFO mapreduce.Job: Job job_local1793376280_0001 failed with state FAILED due to: NA 2023-06-11 17:01:33,414 INFO mapreduce.Job: Counters: 0 2023-06-11 17:01:33,422 WARN mapreduce.Counters: Group FileSystemCounters is deprecated. Use org.apache.hadoop.mapreduce.FileSystemCounter instead 2023-06-11 17:01:33,423 INFO mapreduce.ExportJobBase: Transferred 0 bytes in 1.8984 seconds (0 bytes/sec) 2023-06-11 17:01:33,425 WARN mapreduce.Counters: Group org.apache.hadoop.mapred.Task$Counter is deprecated. Use org.apache.hadoop.mapreduce.TaskCounter instead 2023-06-11 17:01:33,425 INFO mapreduce.ExportJobBase: Exported 0 records. 2023-06-11 17:01:33,426 ERROR tool.ExportTool: Error during export: Export job failed!
最新发布
06-12
这段日志显示了一个 MapReduce 任务的执行情况，该任务执行的是 Sqoop 的数据导出操作。具体的执行过程如下： 1. 首先，日志记录了该任务的运行模式为非 Uber 模式（即不是在 YARN 上运行），并且 Map 和 Reduce 的...
hadoop mapreduce 编写问题集
let it go的博客
12-21 1614
1.MapReduce没有日志信息       eclipse 运行MP后没有看到详细的日志信息，只有警告信息，没有跟linux系统一样的的，出现大量过程，资源信息日志。     解决：             i:在项目下新建目录/src/main/resource             ii:在该目录下新建文件名log4j.properties             iii:添加...
MapReduce 异常总结（一）
肖恩的博客
07-13 2582
序列化异常 19/06/13 14:11:46 INFO Configuration.deprecation: session.id is deprecated. Instead, use dfs.metrics.session-id 19/06/13 14:11:46 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=J...
利用sqoop 从MySQL导数据到hdfs报错java.sql.SQLException: Invalid value for getLong() - ‘手机一级‘
weixin_46399306的博客
01-13 1519
Sqoop导入数据报错 !java.sql.SQLException: Invalid value for getLong() - ‘颜色’ at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1094) at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:997) at com.mysql.jdbc.SQLError.createSQLException(SQLError
MapReduce中Job运行流程（集群运行模式和本地运行模式）
热门推荐
二师兄撒欢之地
05-26 1万+
hive中的local mr
东杰书屋
10-22 3521
在hive中运行的sql有很多是比较小的sql,数据量小,计算量小.这些比较小的sql如果也采用分布式的方式来执行,那么是得不偿失的.因为sql真正执行的时间可能只有10秒,但是分布式任务的生成得其他过程的执行可能要1分钟.这样的小任务更适合采用lcoal mr的方式来执行.就是在本地来执行,通过把输入数据拉回客户端来执行. 拿select 1 from dual来看下,两种执行方式的效率差
解决执行MapReduce代码是报如下错误: Job job_1607082280342_0001 failed with state FAILED due to: Task failed task_
qq_43668173的博客
03-20 2822
Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class cn.itcast.mapreduce.WordCountMapper not found 错因： 1.忘记导入jar 包路径 https://blog.csdn.net/qq_43382641/article/details/107159364 2.导包错误 添加链接描述 3.解决问题最根本的方案，还是看自己的log日志信息 ...
大数据中写MapReduce程序时遇到错误Error: INFO - Job job_local1832672383_0001 failed with state FAILED due to: NA
weixin_41679396的博客
03-07 393
Job job_local1621290019_0001 failed with state FAILED due to: NA
INFO mapreduce.Job: Job job_1609687269347_0001 failed with state FAILED due to: Task failed task_160
m0_53886865的博客
01-03 4948
当遇到job错误时，可以打开job，查看错误再解决 21/01/03 10:24:54 INFO mapreduce.Job: map 100% reduce 0% 21/01/03 10:24:55 INFO mapreduce.Job: map 100% reduce 100% 21/01/03 10:24:58 INFO mapreduce.Job: Job job_1609687269347_0001 failed with state FAILED due to: Task failed ta
failed with state FAILED due to: NA&NullPointerException
weixin_54527017的博客
05-28 2882
项目场景： 提示：这里简述项目相关背景： 例如：项目场景：示例:通过蓝牙芯片(HC-05)与手机 APP 通信，每隔 5s 传输一批传感器数据(不是很大) 问题描述： 提示：这里描述项目中遇到的问题： 例如：数据传输过程中数据不时出现丢失的情况，偶尔会丢失一部分数据 APP 中接收数据代码： @Override public void run() { bytes = mmInStream.read(buffer); mHandler.obtainMessage(READ_DATA, bytes,
Job job_local1138799368_0001 failed with state FAILED due to: NA报错我的解决过程
weixin_53063015的博客
02-21 3053
eclipse运行mr报错 前几天运行mapreduce包了错，搞了好久都没明白是怎么回事，去找解决方法，说Job job_local1138799368_0001 failed with state FAILED due to: NA报错是权限问题要给root权限，试了不行，还有说代码错误，输入输出的数据类型与前面的不一致，还有说这个输入文档有空格要删除掉，通通都不适合我这里的报错。哎满失落的找不到解决方法解决不了，难受。 既然找不到哪就自己解决，又看不懂报错信息，哎~ 先看了一遍这个报错 查了下是数据越
Hadoop分布式搭建
qq_39124136的博客
10-29 351
运行环境 ubuntu18.04 hadoop2.7.1 jdk1.8 1.修改每台服务器的主机名 vim /etc/hostname 4台服务器的主机名分别为 Master、Slave1、Slave2、Slave3 保存修改后重启服务器reboot 2.修改每台服务器的hosts文件 vim /etc/hosts 添加以下内容 [Master的ip] Master [Slave1的ip] Sla...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值