MapReduce 报错 求解

最新推荐文章于 2024-07-10 23:15:15 发布
最新推荐文章于 2024-07-10 23:15:15 发布
阅读量494 收藏
点赞数
分类专栏： Hadoop 文章标签： mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/S_OpenH/article/details/111052264
版权

上传jar包后
运行 hadoop jar Word-1.0-SNAPSHOT.jar org.example.SubmitJob
报错

20/12/11 19:49:49 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.122.11:8032
20/12/11 19:49:51 INFO input.FileInputFormat: Total input paths to process : 1
20/12/11 19:49:52 INFO mapreduce.JobSubmitter: number of splits:1
20/12/11 19:49:52 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1607660987688_0011
20/12/11 19:49:52 INFO impl.YarnClientImpl: Submitted application application_1607660987688_0011
20/12/11 19:49:53 INFO mapreduce.Job: The url to track the job: http://master:8088/proxy/application_1607660987688_0011/
20/12/11 19:49:53 INFO mapreduce.Job: Running job: job_1607660987688_0011
20/12/11 19:50:05 INFO mapreduce.Job: Job job_1607660987688_0011 running in uber mode : false
20/12/11 19:50:05 INFO mapreduce.Job:  map 0% reduce 0%
20/12/11 19:50:15 INFO mapreduce.Job: Task Id : attempt_1607660987688_0011_m_000000_0, Status : FAILED
Error: java.lang.RuntimeException: No toolkit found
	at com.sun.javafx.tk.Toolkit.getToolkit(Toolkit.java:260)
	at com.sun.javafx.perf.PerformanceTracker.logEvent(PerformanceTracker.java:110)
	at javafx.scene.Node.<clinit>(Node.java:387)
	at java.lang.Class.forName0(Native Method)
	at java.lang.Class.forName(Class.java:348)
	at org.apache.hadoop.conf.Configuration.getClassByNameOrNull(Configuration.java:2013)
	at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:1978)
	at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2072)
	at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2098)
	at org.apache.hadoop.mapred.JobConf.getMapOutputKeyClass(JobConf.java:813)
	at org.apache.hadoop.mapred.JobConf.getOutputKeyComparator(JobConf.java:887)
	at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.init(MapTask.java:1001)
	at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:401)
	at org.apache.hadoop.mapred.MapTask.access$100(MapTask.java:81)
	at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:695)
	at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:767)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
	at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
	at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)

20/12/11 19:50:23 INFO mapreduce.Job: Task Id : attempt_1607660987688_0011_m_000000_1, Status : FAILED
Error: java.lang.RuntimeException: No toolkit found
	at com.sun.javafx.tk.Toolkit.getToolkit(Toolkit.java:260)
	at com.sun.javafx.perf.PerformanceTracker.logEvent(PerformanceTracker.java:110)
	at javafx.scene.Node.<clinit>(Node.java:387)
	at java.lang.Class.forName0(Native Method)
	at java.lang.Class.forName(Class.java:348)
	at org.apache.hadoop.conf.Configuration.getClassByNameOrNull(Configuration.java:2013)
	at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:1978)
	at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2072)
	at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2098)
	at org.apache.hadoop.mapred.JobConf.getMapOutputKeyClass(JobConf.java:813)
	at org.apache.hadoop.mapred.JobConf.getOutputKeyComparator(JobConf.java:887)
	at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.init(MapTask.java:1001)
	at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:401)
	at org.apache.hadoop.mapred.MapTask.access$100(MapTask.java:81)
	at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:695)
	at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:767)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
	at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
	at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)

20/12/11 19:50:30 INFO mapreduce.Job: Task Id : attempt_1607660987688_0011_m_000000_2, Status : FAILED
Error: java.lang.RuntimeException: No toolkit found
	at com.sun.javafx.tk.Toolkit.getToolkit(Toolkit.java:260)
	at com.sun.javafx.perf.PerformanceTracker.logEvent(PerformanceTracker.java:110)
	at javafx.scene.Node.<clinit>(Node.java:387)
	at java.lang.Class.forName0(Native Method)
	at java.lang.Class.forName(Class.java:348)
	at org.apache.hadoop.conf.Configuration.getClassByNameOrNull(Configuration.java:2013)
	at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:1978)
	at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2072)
	at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2098)
	at org.apache.hadoop.mapred.JobConf.getMapOutputKeyClass(JobConf.java:813)
	at org.apache.hadoop.mapred.JobConf.getOutputKeyComparator(JobConf.java:887)
	at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.init(MapTask.java:1001)
	at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:401)
	at org.apache.hadoop.mapred.MapTask.access$100(MapTask.java:81)
	at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:695)
	at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:767)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
	at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
	at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)

20/12/11 19:50:39 INFO mapreduce.Job:  map 100% reduce 100%
20/12/11 19:50:39 INFO mapreduce.Job: Job job_1607660987688_0011 failed with state FAILED due to: Task failed task_1607660987688_0011_m_000000
Job failed as tasks failed. failedMaps:1 failedReduces:0

20/12/11 19:50:40 INFO mapreduce.Job: Counters: 12
	Job Counters 
		Failed map tasks=4
		Launched map tasks=4
		Other local map tasks=3
		Data-local map tasks=1
		Total time spent by all maps in occupied slots (ms)=26505
		Total time spent by all reduces in occupied slots (ms)=0
		Total time spent by all map tasks (ms)=26505
		Total vcore-seconds taken by all map tasks=26505
		Total megabyte-seconds taken by all map tasks=27141120
	Map-Reduce Framework
		CPU time spent (ms)=0
		Physical memory (bytes) snapshot=0
		Virtual memory (bytes) snapshot=0
[root@master ~]#
S_OpenH
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Caused by: java.lang.RuntimeException: No toolkit found
.
12-10 3674
这是运行基于 HBase 的 MapReduce 程序时遇到的一个bug，完整的错误提示信息如下： Graphics Device initialization failed for : es2, sw Error initializing QuantumRenderer: no suitable pipeline found java.lang.RuntimeException: java.l...
mapreduce报错解决办法总结
10-30
Jobtracker启动报错:解决方法：导入guava-r09-jarjar.jar org/apache/hadoop/thirdparty/guava/common/collect/LinkedListMultimap错误分析及解决方法： Intel版本hadoop因为缺少license，启动jobtracker报错:
Nokia E52的Runtime java.lang.Runtime Exception Toolkit Closed问题解决
iteye_1576的博客
06-22 97
开发的项目在E52上安装完成了,运行开始就退出了,显示 Runtime java.lang.Runtime Exception Toolkit Closed 参考:http://discussion.forum.nokia.com/forum/showthread.php?p=634039 MM客户端软件测试中心发布消息： S60 FP2操作系统（支持Kjava规范版本MIDP...
java runtime 异常_java中的java.lang.RuntimeException异常怎么解决？
热门推荐
weixin_29439509的博客
02-12 2万+
展开全部解决方式如下：1、通配符{1}修改为{0}。2、form提交地址62616964757a686964616fe59b9ee7ad9431333365633865修改下:注册Form地址:登录Form地址:Java语音特征：Java编程语言的风格十分接近C语言、C++语言。Java是一个纯粹的面向对象的程序设计语言，它继承了C++语言面向对象技术的核心。Java舍弃了C语言中容易引起错误的指...
2021-12-01 15:48:44,657 INFO mapreduce.Job: map 0% reduce 0% 2021-12-01 15:48:53,757 INFO mapreduce
一亿年开发经验
12-01 397
运行wordcount测试LZO压缩的时候报了如下错误 2021-12-01 15:48:44,641 INFO mapreduce.Job: Job job_1638343302287_0001 running in uber mode : false 2021-12-01 15:48:44,657 INFO mapreduce.Job: map 0% reduce 0% 2021-12-01 15:48:53,757 INFO mapreduce.Job: Task Id : attempt_1638
通过Hadoop命令执行jar包
qq_42833339的博客
12-21 1万+
我们通常在本地运行的时候，可以把本地java文件打包成jar包，然后放在linux集群上。然后通过hadoop命令来运行该jar包。 具体命令如下所示： hadoop fs jar xxxx.jar(jar包存放的路径) xxx(类路径名) 需要注意的是，用此种方式运行jar包时，jar包不是放在hadoop集群的，而是在linux上，因此路径也是linux文件系统中的路径。而类路径，是指你要执行的包含main函数的主类，该类名一定要写全名，如org.example.BillComputing.Drive
MapReduce错误之Error: java.lang.RuntimeException: java.lang.NoSuchMethodException的解决方法
weixin_33690367的博客
03-26 430
今天跑MapReduce项目的时候遇到了这个问题，日志如下所示： 18/03/27 01:23:15 DEBUG ipc.ProtobufRpcEngine: Call: getDiagnostics took 19ms Error: java.lang.RuntimeException: java.lang.NoSuchMethodException: com.hadoop.train....
Mapreduce-实践
04-16
（实践三）MapReduce 布隆过滤器 过滤器训练、过滤器应用、结果验证及分析 （实践四）MapReduce Top 10模式示例 在ctrip数据集上进行Top 10排序。 （实践五）去重的用户—针对ctrip数据集去重 对ctrip数据集中的...
实验项目 MapReduce 编程
04-18
实验项目“MapReduce 编程”旨在让学生深入理解并熟练运用MapReduce编程模型，这是大数据处理领域中的核心技术之一。实验内容涵盖了从启动全分布模式的Hadoop集群到编写、运行和分析MapReduce应用程序的全过程。 ...
MapReduce WordCount
05-14
MapReduce是一种分布式计算模型，由Google在2004年提出，主要用于处理和生成大规模数据集。这个模型将复杂的计算任务分解成两个主要阶段：Map（映射）和Reduce（化简），并且在Hadoop这样的大数据处理框架中得到了...
学生mapreduce成绩分析
06-02
MapReduce是一种分布式计算模型，由Google在2004年提出，主要用于处理和生成大规模数据集。这个模型将复杂的计算任务分解成两个主要阶段：Map（映射）和Reduce（化简），使得在大规模分布式环境下处理大数据变得可能...
记一次MapReduce Job运行报错
涵sir的博客
03-04 1461
描述： MR Job提交运行， 错误退出，无报错信息。 解决： 先加上日志框架 <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId> <version>1.7.25</version> </depend.
mapreduce程序运行错误
m0_48855542的博客
06-14 503
mapreduce程序在hadoop中运行错误
关于MapReduce任务发生错误的解决方式
sujins5288的博客
02-27 980
在工作中当一个任务失败并且没有足够的记录信息来诊断错误时，可以选择用调试器运行任务。当在集群上运行作业时，不知道哪个节点处理哪部分内容，故不能在错误发生前按照调试器。故 第一种方式是：               在本地重新产生错误，对于特定的输入，失败是会一直发生的。可以通过下载致使任务失败的文件到本地运行重现问题，并借用VisualVM调试器进行分析解决。 第二种方式是：使用jvm调试选...
运行hadoop MapReduce程序常见错误及解决方法整理
海兰
02-09 1270
一、Permission denied 1、Win系统下用Eclipse中运行远程hadoop MapReduce程序出现报错 org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=xxx, a...
大数据基础：Hadoop之MapReduce重点架构原理
最新发布
Lansonli（蓝深李）的博客
07-10 1484
Reduce端每个Reduce task会从每个map task所在的节点上拉取落地的磁盘文件对应的分区数据，对于每个Reduce task来说，从各个节点上拉取到多个分区数据后，每个分区内的数据按照key分组有序，但是总体来看这些分区文件中key数据不是全局有序状态（分区数据内部有序，外部无序）。第一次排序发生在Map阶段的磁盘溢写时：当MapReduce的环形缓冲区达到溢写阈值时，在数据刷写到磁盘之前，会对数据按照key的字典序进行快速排序，以确保每个分区内的数据有序。
mapreduce报错
05-25
一般来说，MapReduce 报错可能是由于以下原因之一导致的： 1. 错误的输入格式或输入路径 2. 错误的输出路径或权限不足 3. Mapper 或 Reducer 中的程序错误 4. Hadoop 集群配置问题 您可以通过查看日志文件来确定...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值