我的hadoop安装配置之旅

首先介绍一下我的环境吧。方便给大家一个参考，linux下面版本问题还是挺多的，呵呵。

ubuntu10.04

eclipse-java-indigo-SR2-linux-gtk

hadoop-0.20.204.0

java version "1.6.0_30"

1.解压hadoop，jdk，ant，maven等等。

然后环境变量配置如下：（可以把如下内容放到 .bashrc中，添加到最后）

#for JDK
export JAVA_HOME=/home/yin/lib/jdk1.6.0_30
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib
#for ant
export ANT_HOME=/home/yin/lib/ant
export PATH=$ANT_HOME/bin:$PATH
#for maven
MAVEN_HOME=/home/yin/lib/maven
export PATH=$MAVEN_HOME/bin:$PATH

2.配置hadoop环境

这个一定要参考官网的，可以打开hadoop目录下的hadoop/docs/single_node_setup.html，作为参考。

1）修改conf目录下的文件，如下

conf/core-site.xml:

<configuration>
     <property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:9000</value>
     </property>
</configuration>

conf/hdfs-site.xml:

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
</configuration>

conf/mapred-site.xml:

<configuration>
     <property>
         <name>mapred.job.tracker</name>
         <value>localhost:9001</value>
     </property>
</configuration>

2）然后去除ssh密码

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3）生成一个新的HDFS文件系统

$ bin/hadoop namenode -format

4）启动所有hadoop daemons：

$ bin/start-all.sh

3.安装hadoop-eclipse插件

当以上2中配置完成后，才可以成功安装hadoop-eclipse插件。

此处可以参考【1】。

参考：

【1】  http://blog.csdn.net/chengfei112233/article/details/7252404（解决了插件问题）

【2】  http://blog.pfa-labs.com/2010/01/troubleshooting-hadoop-eclipse-plugin.html（列举了很多常见的问题，非常不错）