centos7系统Hadoop集群搭建和简单使用,resource manager无法启动的问题

搭建过程:https://blog.csdn.net/pucao_cug/article/details/71698903

非常详细的文章,感谢大神。

根据步骤一步步来,不难,而且基本没有出错。碰到的唯一问题是装java的时候的问题,我的解决方案:https://blog.csdn.net/touziss/article/details/82859035

启动hadoop以后,做个小实验熟悉一下。参考https://www.cnblogs.com/qingyunzong/p/8496127.html#_label4

  • 在HDFS上新建一个/test/input文件夹,因为要用到hadoop命令,所以要cd到HADOOP_HOME/bin
  • 用命令 ./hadoop fs -mkdir -p /test/input
  • 注意:原文里应该是mac系统,直接用的hadoop命令,但是在centos系统下需要用./hadoop命令

  • 查看一下 ./hadoop fs -ls / ,因为我还装了hbase,所以还有一个hbase文件夹。

  • 上传文件./hadoop fs -put

  • 然后根据原文步骤,测试mapreduce的例子程序,命令:./hadoop jar /opt/hadoop-2.8.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar
  • 运行的时候,发现出错,忘记截图,然后用web页面查看,发现8088页面打不开,jps发现resource manager没有启动!!!
  • 网上找了很多教程,包括关闭防火墙等等都无法使用,这个时候,一篇教程提醒我,每个人的问题不一样,去看看自己的logs
  • cd /opt/hadoop-2.8.0/logs,打开yarn-root-resourcemanager-centos7-1.log,发现一个很弱智的问题

  • 配置yarn-site.xml文件的时候,把hostname打错了,打成了houstname。。。。。
  • 于是改过来再jps就可以了

  • 运行mapreduce实例程序也成功了,但是浏览器 localhost:8088依旧打不开,localhost:50070可以打开
  • netstat -nltp查看端口情况

  • 好像没什么问题。不知道为什么,于是我在浏览器输入ip:8088,也就是输入了172.10.0.58:8088,就可以打开了,还不知道原因。

  • 反正其他的都是正常的,就先这样吧。
  • 后来在ubuntu上重新配置,基本能成功,但是测试wordcount,最后虽然会成功,总是卡住。
  • 原因是yarn-site.xml没有配置内存,导致内存不够,跑得很慢。配置了内存之后就解决了问题。
  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值