hadoop2.x job Eclipse下只运行在local上

mapred-site.xml已经设置了相应的值,但是为什么web端的监视窗口却起不来?查看mapred-default.xml中的说明:the job tracker http server address and port the server  will listen on,if the port is 0 then the server will start on a free port

虽然mapreduce统计单词可以进行,但是是运行在本地local上面,而没有在集群的环境下跑mapreduce。以为是没有配置mapreduce.jobtracker.http.address属性,但是配置了之后,页面打不开,并且重跑程序后依然是在本地运行。

不知是哪里没有配置成功。

之后尝试用命令行运行mapreduce程序,发现Wordcount将会运行在集群上,historyserver也能看到job信息。

初步思考是在Eclipse上没有配置某个重要的属性信息,经过排查与寻找,加上网上查找,发生最重要的一个属性mapreduce.frame.name的属性信息没有添加进去。将该属性添加到集群当中运行,可以在yarn的界面上看到开始运行的消息,但是在historyserver上看不到完成的作业信息,说明已经通过Eclipse将mapreduce工作提交到集群当中,但是运行失败。。。

根据以上分析应该还是某个属性信息没有添加到Eclipse的程序当中。

之后将需要的core-site.xml、mapred-site.xml、hdfs-site.xml等文件拷贝到Hadoop的安装目录当中,依然没有解决问题!!

通过错误记录,发现主要是一个ipc链接问题,ipc客户端一直在尝试连接一个0.0.0.0:8032的host:port。而这个host:port并没有经过我配置,所以只能是默认的配置导致的结果。然后查看自己默认配置,发现该属性值是由yarn.resourcemanager.addresss与yarn.resourcemanager.hostname共同决定的,且使用的都是其默认的值。。

尝试查看job的属性:

从配置的路径当中下载job.xml,打开后查看,发现job的配置属性使用的全部都是默认的配置属性,而没有使用到自己配置的属性,怪不得会错误,现在要做的是使job的配置属性为自己所配置配置的属性了。目前还没有想到解决方法,现在做的就是用jar命令行模式运行。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值