hadoop2.7.1java.lang.IllegalArgumentException: The ServiceName: mapreduce.shuffle set in yarn.nodema

最新推荐文章于 2023-03-24 17:40:36 发布
最新推荐文章于 2023-03-24 17:40:36 发布
阅读量740 收藏 1
点赞数
分类专栏： linux学习 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26479655/article/details/51871255
版权
在启动Hadoop2.7.1后，发现slave1上的NodeManager进程消失，日志显示错误信息为`java.lang.IllegalArgumentException: The ServiceName: mapreduce.shuffle`。问题根源在于`yarn.site.xml`配置文件中的参数设置不正确。解决方案是修正相关配置，确保MapReduce Shuffle服务的正确运行。
摘要由CSDN通过智能技术生成

hadoop启动后用jps查看slave1显示有nodemanager
等一下再看 就没有改进程
查看日志显示如下：

java.lang.IllegalArgumentException: The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid.The valid service name should only contain a-zA-Z0-9_ and can not start with numbers
        at com.google.common.base.Preconditions.checkArgument(Preconditions
最低0.47元/天 解锁文章
shawn_zhu1
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop2.2.0安装中遇到的错误:mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid
DATA
10-24 9169
hadoop安装中遇到的错误:mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid 启动： [hadoop@hadoop02 hadoop]$ yarn-daemon.sh start nodemanager starting nodemanager, logging to /app/hadoop/hado
hadoop2.0 遇到的问题 （持续更新）
baiyangfu的专栏
10-29 1万+
最近在弄hadoop2.0，把遇到的一些问题做个笔记： 版本：apache hadoop-2.2.0 在启动nodemanager的时候报下面的错误： 2013-10-29 11:32:21,523 FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager java
mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid
weixin_30869099的博客
07-02 255
15/07/01 20:14:41 FATAL containermanager.AuxServices: Failed to initialize mapreduce.shuffle java.lang.IllegalArgumentException: The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-service...
java.lang.IllegalArgumentException: Unable to
weixin_61723488的博客
03-24 618
关于reactor.core.Exceptions$ErrorCallbackNotImplemented: java.lang.IllegalArgumentException: Unable to
java.lang.NoClassDefFoundError错误解决办法
08-30
"java.lang.NoClassDefFoundError错误解决办法" java.lang.NoClassDefFoundError错误是一种常见的Java错误，它发生在Java虚拟机在编译时能找到合适的类，而在运行时不能找到合适的类导致的错误。下面是该错误的解决...
java. lang . UnsatisfiedLinkError: org. apache . hadoop. io. nativeio. NativeIOSWindows . access0
01-09
Exception in thread “main” java. lang . UnsatisfiedLinkError: org. apache . hadoop. io. nativeio. NativeIOSWindows . access0 (Ijava/ lang/String;I)Z  原因：在调用NativeIO中的...
hadoop-2.7.1.tar.gz.zip
11-06
这个名为“hadoop-2.7.1.tar.gz.zip”的文件包含了Hadoop的2.7.1版本，这是一个非常重要的里程碑，因为它包含了对Hadoop生态系统的许多改进和修复。 首先，我们要明白文件的结构。这是一个压缩文件，最外层是.zip...
【SpringBoot 远程提交MapReduce】 Error: java.lang.ClassNotFoundException: xxxxx包.xxxxx类
01-20
【SpringBoot】Error: java.lang.ClassNotFoundException: org.wltea.analyzer.core.IKSegmenter报错明细问题分析后记 报错明细 IDEA SpringBoot集成hadoop运行环境，本地启动项目，GET请求接口触发远程提交...
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeExcepti
01-07
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 解决方法 ...
java.lang.IllegalArgumentException异常解决
静待花开
07-03 17万+
在maven项目中测试代码的时候，碰到java.lang.IllegalArgumentException异常：严重: Servlet.service() for servlet [e3-manager] in context with path [] threw exception [Request processing failed; nested exception is java.lang...
Hadoop中java.lang.IllegalArgumentException异常
weixin_30731305的博客
01-17 818
1.检查core-site.xml文件使用绝对路径 转载于:https://www.cnblogs.com/confidentljw/p/8303837.html
启动Hadoop 2.8.5遇到的错误：The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is inval...
weixin_30752377的博客
12-09 210
问题： yarn-site.xml配置： <?xml version="1.0"?> <configuration> <property> <name>yarn.resourcemanager.address</name> <value...
错误提示：java.lang.IllegalArgumentException解决方法
热门推荐
飞翔射手座
03-09 22万+
我的程序出现这个错误的原因是编译环境和运行环境的jdk版本不一致，首先是spring mvc的版本是3.*的，而我本机的jdk是jdk8，查阅资料后得知他俩的兼容性不是很好，有问题，只能用jdk7及以下的版本，所以我就在myeclipse中直接导入了一个jdk1.7，但是这样依然没有解决，这是因为，这样导入后，我的运行环境和编译环境不一致，所以就要经过以下的设置： 选中项目，单击右键-》Prope
向Hbase插入时，报错java.lang.IllegalArgumentException: KeyValue size too large的解决办法
u010476994的博客
11-03 9104
最近在向Hbase中插入数据时， 报了个KeyValue size too large 的错误，  具体报错信息如下：Error: java.lang.IllegalArgumentException: KeyValue size too large at org.apache.hadoop.hbase.client.HTable.validatePut(HTable.java:1567) a
java.lang.IllegalArgumentException 异常报错完美解决
辰小白
07-12 15万+
目录 修改JDK使用版本 修改开发工具idea配置（eclipse的直接跳过这个看下面） 修改开发工具eclipse配置 学习spring依赖注入的时候碰到这个坑，折腾了许久，记录一下以防其他小伙伴入坑！ 该异常主要原因是因为JDK与Spring版本不一致。要么更换jdk，要么重新下载符合jdk的springjar包 我本地装了两个JDK版本，一个1.8，一个1.7，原本以为只要修改一...
转：彻底了解mapreduce核心Shuffle--解惑各种mapreduce问题
11-08 127
转：彻底了解mapreduce核心Shuffle--解惑各种mapreduce问题 本文合适和对mapreduce有一定了解，并且产生各种问题的同学，算是一个解惑篇。如果刚接触的话，这篇文章很有可能看不下去。建议先了解 Hadoop简介(1):什么是Map/Red...
Java java.lang.IllegalArgumentException: The given id must not be null!问题件解决
旭东怪的博客
03-24 5655
问题描述： java.lang.IllegalArgumentException:The given id must not be null! 问题分析： 1、使用JPA自带的根据主键ID获取数据方法进行传参时，不能传null值。
java.lang.IllegalArgumentException: java.net.UnknownHostException: hadoop01
最新发布
09-28
java.lang.IllegalArgumentException: java.net.UnknownHostException: hadoop01是一个错误信息，表示无法解析主机名hadoop01。这个错误通常是由于hosts文件中没有配置正确的映射导致的。你可以根据错误提示中给出的解决方案，在C:\Windows\System32\drivers\etc\hosts文件中添加映射，将192.168.37.150映射到hadoop01。这样就能够解决这个错误了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值