mac安装hadoop可能遇到的问题

自己本地装了hadoop2.7.3,遇到一些小问题,在这里记录一下希望对新手有所帮助。

1.路径

一般mac的软件都是默认安装到/Applications/下的,如果有想找自己安装程序原文件的可以参考下。

路径其实是比较烦人的,看上去很简单,找不到文件,玩毛线啊!

mac的hadoop默认安装到/usr/local/Cellar/hadoop/下

     配置文件在/usr/local/Cellar/hadoop/2.x/libexec/etc/hadoop/下 

启动文件在/usr/local/Cellar/hadoop/2.x/sbin/下

日志文件在/usr/local/Cellar/hadoop/2.x/libexec/logs/下

命令在/usr/local/Cellar/hadoop/2.x/bin/下

namenode和datanode的信息需要查看core-site.xml的hadoop.tmp.dir配置的路径,在这个路径的基础上找到dfs/data(name)/current/VERSION,文件中包含了namenode和datanode的id等信息(后面可能会需要修改的)

         2.常见问题

查看是否安装成功ip:50030和ip:8088

未安装成功可以到logs下查看一场信息,常见的是id不匹配,需要到VERSION中修改datanode或者namenode的id一致

安装的hadoop中没有mapred-site.xml,这个需要自己创建一个或者拷贝mapred-site.xml.template重命名一下

只有修改了namenode或者datanode的相关配置文件以后才需要format

执行jar命令 hadoop jar your jar

保护进程可使用 nohup hadoop jar your jar &

跑mapreduce程序可能会有Mkdirs failed to create somepath/...META-INF/LICENSE这个需要 

zip -d your jar META-INF/LICENSE
查看mapreduce日志需要重新添加map配置,然后单独启动historyserver

  

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值