hadoop2.0 遇到的问题 (持续更新)

最近在弄hadoop2.0,把遇到的一些问题做个笔记:

版本:apache hadoop-2.2.0

2013-10-29

在启动nodemanager的时候报下面的错误:

2013-10-29 11:32:21,523 FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager
java.lang.IllegalArgumentException: The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid.The valid service name should only
 contain a-zA-Z0-9_ and can not start with numbers

或者提交作业出现类似下面的错误:

3/10/29 11:49:01 INFO mapreduce.Job: Task Id : attempt_1383017347984_0001_m_000000_0, Status : FAILED
Container launch failed for container_1383017347984_0001_01_000002 : org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:
mapreduce_shuffle does not exist

解决办法:

在yarn-site.xml 配置文件中增加:

        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

重启就ok了

这个问题其实是由于

yarn.nodemanager.aux-services
配置错误或者没有配置,其实,如果没有配置这个参数应该会有默认值。这是目前版本的一个小bug:

https://issues.apache.org/jira/i#browse/YARN-1289


2013-10-30:

配置 fairscheduler 的acl , 发现不好使,无论是更新队列或者重启resourcemanager,acl还是不起作用

其实是个bug:https://issues.apache.org/jira/i#browse/YARN-1288

该问题已经解决:http://blog.csdn.net/baiyangfu_love/article/details/14004331


2013-11-01:

web ui 页面,想通过application id 查看作业详情,报下面的信息:

You (User dr.who) are not authorized to view application application_xxxx

这个问题是由于权限受限制,我们需要设置我们登录web页面的用户,在core-site.xml 文件添加如下设置:

        <property>
                <name>hadoop.http.staticuser.user</name>
                <value>hadoop</value>
        </property>
这样就会正常的打开application详情页面




  • 1
    点赞
  • 0
    收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页
评论 1

打赏作者

baiyangfu

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值