hadoop环境搭建

一、hadoop环境搭建基本可以分为这么几步：

1.添加hadoop用户，并为其添加管理员权限

2.安装ssh(hadoop用ssh通信)

3.安装java(hadoop基于java)

4.安装hadoop，并配置相应的java环境

5.以上，单机环境搭建完成。

下面是伪分布式环境搭建

1.conf目录下创建配置文件

2.格式化hdfs

3.start-all.sh，启动hadoop

具体的环境搭建可以参看这篇文章，写的比较细致

http://blog.csdn.net/hitwengqi/article/details/8008203

二、环境搭建过程中遇到的问题

1.最大的问题就是启动的时候总是没有namenode

说法一：

“namenode 默认在/tmp下建立临时文件，但关机后，/tmp下文档自动删除，再次启动Master造成文件不匹配，所以namenode启动失败。
在core-site.xml中指定临时文件位置，然后重新格式化，终极解决！
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/grid/hadoop1.7.0_17/hadoop_${user.name}</value>
<property>
value中的路径只要不是/tmp 就行。”

solution1：我试了一下删除tmp文件夹，然后重新运行

说法二：

如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉，必须重新执行format才行，否则会出错。

同时还得手动现在hadoop目录下建立tmp文件夹

好吧。。。看这个网页

http://blog.sina.com.cn/s/blog_6d932f2a0101fsxn.html