【Hadoop】方法抛出‘java.lang.IllegalStateException‘异常. 无法评估 org.apache.hadoop.mapreduce.Job.toString()

已于 2023-01-11 11:36:05 修改
阅读量1.2k 收藏
点赞数
分类专栏： Java Hadoop 文章标签： hadoop mapreduce java
于 2023-01-10 10:53:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_38650186/article/details/128625674
版权

在本地测试MapReduce的驱动类的时候，报错：
方法抛出’java.lang.IllegalStateException’异常. 无法评估 org.apache.hadoop.mapreduce.Job.toString()
虽然报错，但是非阻塞的错误，输出文件夹还是会创建并关闭job.

解决方案：
按照编写的7个步骤逐步debug：

  1. 获取配置信息以及获取job对象
  2. 关联本Driver程序的jar
  3. 关联Mapper和Reducer的jar
  4. 设置Mapper输出的kv类型
  5. 设置最终输出kv类型
  6. 设置输入和输出路径
  7. 提交job
    在这里插入图片描述
    发现在关联jar之后，就一直报这个错误，所以应该是关联出现了问题。

检查关联jar的代码，发现mapper class的关联写错了，应该是setMapOutputValueClass
在这里插入图片描述

再次运行，生成了4个预期文件：
在这里插入图片描述

Jaaamieee
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java. lang . UnsatisfiedLinkError: org. apache . hadoop. io. nativeio. NativeIOSWindows . access0
01-09
我在进行MapReduce本地测试的时候，遇见下面的报错： Exception in thread “main” java. lang . UnsatisfiedLinkError: org. apache . hadoop. io. nativeio. NativeIOSWindows . access0 (Ijava...
Method threw ‘java.lang.IllegalStateException‘ exception. Cannot evaluate org.apache.hadoop.mapreduc
weixin_37895026的博客
07-07 5397
在本地调试hadoop.mapreduc时断点看到这个信息，且程序执行不成功，以为是这个问题导致的，网上查了很久也没有解决办法，后来发现这个并不影响主要功能。如果不想看到它可以在idea进行配置。你也会发现调试过程中idea左下角有黄字体提示，（skiped breakpoint at xxx because it happened inside debugger。）取消到这个勾选就可以了。注意：这并不是解决那个exception的根本，且！那个显示不是影响你主功能的因素。可以试试大家所说的配置Hadoop
处理MapReduce中的报错Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntax
AsProtoss的博客
10-20 2073
写好MapReduce线下代码后,生成 example-mr-1.2.jar包上传并解压运行,如下: [root@bigdata01 ~]# hadoop jar example-mr-1.2.jar Exception in thread “main” java.lang.IllegalArgumentException: java.net.URISyntaxException: Relativ...
深入解析java.lang.IllegalStateException异常
博客
08-03 4万+
是Java中的一个非受检异常，它表示在不适当的时间或状态下调用方法。日志记录工具：如Log4j、Logback等，可以记录异常信息和错误日志，方便排查和分析问题。断言工具：如Assert类，可以在程序中添加断言语句，用于验证代码中的假设条件是否满足，帮助我们在开发和测试阶段快速发现问题。异常处理框架：如Spring框架中的异常处理机制，可以统一处理应用程序中的异常，提供统一的异常处理逻辑和错误信息返回。异常是程序中常见的错误和异常情况，合理处理异常对于保证程序的正确性和稳定性非常重要。
华为OD机试C、D卷 - 密码解密（Java & JS & Python & C & C++）
热门推荐
03-21 8万+
给定一段“密文”字符串 s，其中字符都是经过“密码本”映射的，现需要将“密文”解密并输出。 映射的规则（'a' ~ 'i'）分别用（'1' ~ '9'）表示；（'j' ~ 'z'）分别用（"10*" ~ "26*"）表示。 约束：映射始终唯一。 ## 输入描述 “密文”字符串 ## 输出描述 明文字符串 备注 翻译后的文本长度在100以内 用例1 输入 20*19*20* 输出 tst
IllegalStateException（java异常）
weixin_55829616的博客
05-09 8538
IllegalStateException是Java标准库中的一个异常类，通常表示在不合适或无效的情况下执行了某个方法或操作。IllegalStateException是Java标准库中的一个异常类，表示在不合适或无效的情况下执行了某个方法或操作。
个人笔记 Mapreduce错误笔记
qq_36996018的博客
04-22 1562
个人笔记 Mapreduce 调用 job.waitForCompletion(true) 出现java.lang.NullPointerException 1.解决空指针的过程 job.waitForCompletion(true)，（具体流程参考：(https://blog.csdn.net/woshiliufeng/article/details/38874023) 通过debug发现jo...
Java-org.apache.hadoop
06-02
Java-org.apache.hadoop是Apache Hadoop项目的核心组件，它在分布式计算领域扮演着至关重要的角色。Hadoop是由Apache软件基金会开发的一个开源框架，主要用于处理和存储大量数据。它设计的初衷是为了支持数据密集型...
【SpringBoot】Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
01-07
【SpringBoot】Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster报错明细问题解决后记 报错明细 IDEA SpringBoot集成hadoop运行环境，，本地启动项目，GET请求接口触发...
用于Hadoop2.x的MapReduce性能评估模型
05-06
Apache Hadoop是最常用的开源MapReduce模型之一. 程序运行时间的缩短对于MapReduce程序以及所有数据处理应用而言至关重要, 而能够准确估算MapReduce程序的执行时间是优化程序的重要环节. 本文定义了一个在Hadoop2.x...
hadoop-2.7.3.tar.gz 下载 hadoop tar 包下载
05-17
Hadoop是Apache软件基金会开发的一个开源分布式计算框架，它允许在廉价硬件上处理大量数据，是大数据处理领域的重要工具。2.7.3是Hadoop的一个稳定版本，提供了可靠的分布式存储系统HDFS（Hadoop Distributed File ...
mapreduce在本地编写调试过程中经常遇到的异常总结
weixin_39315826的博客
09-15 544
mapreduce在本地编写调试过程中经常遇到的异常总结 mapreduce的编程逻辑很清晰，初期学习的时候更多的时间是在出现异常-百度异常-解决异常上面，所以进行了总结，从运行方式切入，mapreduce的运行有三种： 打jar包，上传到集群运行 hadoop -fs jar **/**/**.jar 主类限定名 参数1（输入的文件的目录） 参数2（输出的目录） **注意：**一般参数2的输出目录不能是已经存在的目录。 ​ ps: 这样的要求是对应于如下的代码： //这是驱动程序，标
MapReduce报java.lang.UnsatisfiedLinkError
匪君的博客
07-11 607
MapReduce报java.lang.UnsatisfiedLinkError问题原因解决方法 问题 运行时报错如下： Exception in thread “main” java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio Job.getInstance报错如下： Method threw ‘java.lang.IllegalStateException’ exception. Cannot evaluate org.apache
java.lang.IllegalStateException
JX_yang_zhi的专栏
05-12 1833
摘要 java.lang.IllegalStateException异常, 该异常表示，当前对客户端的响应已经结束，不能在响应已经结束（或说消亡）后再向客户端（实际上是缓冲区）输出任何内容。 java.lang.IllegalStateException异常产生的原因及解决办法   错误类型大致为以下几种： java.lang.IllegalStateException：Cann
已解决java.lang.IllegalStateException异常的正确解决方法，亲测有效！！！
小明的Java问道之路
01-07 5万+
通过认真的问题分析、细致的代码审查以及正确的问题修正方法，是可以被成功解决的。遵循良好的编程实践，如合理的状态管理和防御性编程，可以显著减少此类问题的发生。以上是此问题报错原因的解决方法，欢迎评论区留言讨论是否能解决，如果本文对你有帮助 欢迎关注、评论，博主才有动力持续记录遇到的问题！！！博主v：XiaoMing_Java嗨，大家好，我是小 明（小明java问道之路），
基于Hadoop平台的电信客服数据的处理与分析③项目开发：搭建基于Hadoop的全分布式集群---任务3：配置SSH免密码连接
最新发布
qq_60872637的博客
07-02 473
Hadoop分布式集群是由多个节点组成，各节点之间需要通过网络访问，如果每次都需要输入密码，非常不方便，所以可以考虑设置各节点之间免密码连接。任务的内容为在各个节点配置SSH，生成密钥对，然后再将公钥分发到所有节点，这样就可以实现各节点之间的免密码连通了。
method threw 'java.lang.illegalstateexception' exception. cannot evaluate org.apache.hadoop.mapreduce.job.tostring()
03-16
这个错误是由于在尝试调用org.apache.hadoop.mapreduce.job.toString()方法时抛出了java.lang.illegalstateexception异常。可能是由于作业对象的状态不正确或作业对象已被关闭导致的。需要检查作业对象的状态并确保它处于正确的状态。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值