一、hadoop环境搭建基本可以分为这么几步:
1.添加hadoop用户,并为其添加管理员权限
2.安装ssh(hadoop用ssh通信)
3.安装java(hadoop基于java)
4.安装hadoop,并配置相应的java环境
5.以上,单机环境搭建完成。
下面是伪分布式环境搭建
1.conf目录下创建配置文件
2.格式化hdfs
3.start-all.sh,启动hadoop
具体的环境搭建可以参看这篇文章,写的比较细致
http://blog.csdn.net/hitwengqi/article/details/8008203
二、环境搭建过程中遇到的问题
1.最大的问题就是启动的时候总是没有namenode
说法一:
“namenode 默认在/tmp下建立临时文件,但关机后,/tmp下文档自动删除,再次启动Master造成文件不匹配,所以namenode启动失败。
在core-site.xml中指定临时文件位置,然后重新格式化,终极解决!
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/grid/hadoop1.7.0_17/hadoop_${user.name}</value>
<property>
value中的路径只要不是/tmp 就行。”
solution1:我试了一下删除tmp文件夹,然后重新运行
说法二:
如没有配置hadoop.tmp.dir参数,此时系统默认的临时目录为:/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉,必须重新执行format才行,否则会出错。
同时还得手动现在hadoop目录下建立tmp文件夹
好吧。。。看这个网页
http://blog.sina.com.cn/s/blog_6d932f2a0101fsxn.html