hadoop运行到mapreduce.job: Running job后停止运行

版本信息:Hadoop2.7.1, openjdk 8,运行在VirtualBox 5.0.6的Ubuntu 15.04上,基本上是目前(2015.10.13)最新的版本;

问题,在伪分布环境下,运行 bin/hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input output'dfs[a-z.]+'(Hadoop2.7.1里的实例)时,运行到INFO mapreduce.Job: Running job:job_....之后,就不再运行了,没有错误提示,ubuntu也基本死了。

网上解决方法:
(1)有说服务未启动的。但jps后发现6个服务都启动了,包括NameNode,SecondaryNameNode, ResourceManager, DataNode, NodeManager和jps;
(2)有说hosts文件的问题。经检查/etc/hosts中两条 127.0.0.1 localhost和127.0.1.1 <username> (<username>显示的是我的用户名)很正常;
(3)有说yarn-site.xml等文件未配置正确。经检查与官网(http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/SingleCluster.html)上所说完全一致;

最终解决方法:
原来仅是VirtualBox创建Ubuntu时分配的资源太少了:
机器配置:内存4096M、硬盘500G、4个CPU、显存128M
默认分配:内存768M、硬盘8G、1个CPU、显存12M
改变后分配值:内存1987M(提示分配给虚拟内存最高的数值,即1988M时VitualBox就提醒我分配内存太高)、硬盘64G、2个CPU、36M显存
以上数值,非专业调整,都是我感觉着调整的,也未必合理。

最终示例顺利运行过去了。

  • 3
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 9
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值