关于hadoop无法启动的问题



在hadoop上搭spark,首先搭了scala环境,然后spark下载配置。弄好之后,想启动例子试一把。


首先启动hadoop···接着就没有然后了·hadoop一直启不来,shell打印的也没有不正常的:

[vdc@compute-02-04-71 hadoop-2.6.0]$ sbin/start-dfs.sh 
15/06/27 10:00:08 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [compute-02-04-71.local]
compute-02-04-71.local: starting namenode, logging to /home/vdc/hadoop/hadoop-2.6.0/logs/hadoop-vdc-namenode-compute-02-04-71.local.out
compute-02-04-71.local: starting datanode, logging to /home/vdc/hadoop/hadoop-2.6.0/logs/hadoop-vdc-datanode-compute-02-04-71.local.out
compute-02-04-73.local: starting datanode, logging to /home/vdc/hadoop/hadoop-2.6.0/logs/hadoop-vdc-datanode-compute-02-04-73.local.out
compute-02-04-75.local: starting datanode, logging to /home/vdc/hadoop/hadoop-2.6.0/logs/hadoop-vdc-datanode-compute-02-04-75.local.out
compute-02-04-74.local: starting datanode, logging to /home/vdc/hadoop/hadoop-2.6.0/logs/hadoop-vdc-datanode-compute-02-04-74.local.out
compute-02-04-72.local: starting datanode, logging to /home/vdc/hadoop/hadoop-2.6.0/logs/hadoop-vdc-datanode-compute-02-04-72.local.out
Starting secondary namenodes [compute-02-04-72.local]
compute-02-04-72.local: starting secondarynamenode, logging to /home/vdc/hadoop/hadoop-2.6.0/logs/hadoop-vdc-secondarynamenode-compute-02-04-72.local.out
15/06/27 10:00:25 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

有个WARN,不过这个一般都是本地库和版本不对应照成的,去lib/native里去用file命令看了具体库的信息,发现也没什么不对应的,也是64位的,如果不是的话,就需要自己去重新编译一个对应的本地库。


那么不是这个原因又是啥原因呢,猜测是自己搭spark的时候影响到了它(虽然可能性很低,但也试一把),所以把scala和spark都删掉,结果还是启动不了!


重新检查了hadoop的搭建环境,也没找到不对的地方,然后又重新格式化了hadoop,还是起不来(这里一般会照成/tmp/hadoop-你的用户名/dfs中,/name/current中的集群ID和data/current中的集群ID不对应,这个要把/name/current中的ID覆盖掉data/current中的,否则会导致datanode启不来)。


然后!我又创建用户自己搭了一套hadoop,结果还是悲惨的发现无法启动····


到这里就下班了,然后灵光一现,因为五台物理机好几个人都在用(学习目的),有同组的一个人也去创建了一个用户,并且搭建了自己的hadoop(设置和之前hadoop一样)。而她的hadoop是一直在集群中跑着的,所以应该是主节点只能启一个master,否则配置一样,到底怎么管理从节点。(这里是在用web UI看集群运行情况时想到的)


所以大周六去验证自己的想法,结果还真是!把她的关掉之后,别的用户再启就没有问题了!(所以以后如果没有必要一定要关掉!)


接着就去搭自己的spark了,开始真正实践学习spark!

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

hjbbjh0521

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值