自己本地装了hadoop2.7.3,遇到一些小问题,在这里记录一下希望对新手有所帮助。
1.路径
一般mac的软件都是默认安装到/Applications/下的,如果有想找自己安装程序原文件的可以参考下。
路径其实是比较烦人的,看上去很简单,找不到文件,玩毛线啊!
mac的hadoop默认安装到/usr/local/Cellar/hadoop/下
配置文件在/usr/local/Cellar/hadoop/2.x/libexec/etc/hadoop/下
启动文件在/usr/local/Cellar/hadoop/2.x/sbin/下
日志文件在/usr/local/Cellar/hadoop/2.x/libexec/logs/下
命令在/usr/local/Cellar/hadoop/2.x/bin/下
namenode和datanode的信息需要查看core-site.xml的hadoop.tmp.dir配置的路径,在这个路径的基础上找到dfs/data(name)/current/VERSION,文件中包含了namenode和datanode的id等信息(后面可能会需要修改的)
2.常见问题
查看是否安装成功ip:50030和ip:8088
未安装成功可以到logs下查看一场信息,常见的是id不匹配,需要到VERSION中修改datanode或者namenode的id一致
安装的hadoop中没有mapred-site.xml,这个需要自己创建一个或者拷贝mapred-site.xml.template重命名一下
只有修改了namenode或者datanode的相关配置文件以后才需要format
执行jar命令 hadoop jar your jar
保护进程可使用 nohup hadoop jar your jar &
跑mapreduce程序可能会有Mkdirs failed to create somepath/...META-INF/LICENSE这个需要