ubuntu安装配置hadoop伪分布式及eclipse搭建hadoop环境

网上教程很多，我是按这个来的http://www.cnblogs.com/xiuyangleiasp/p/5010311.html。

一、ubuntu安装配置hadoop过程为：

1.安装ssh和ssh无密码登录

2.安装jdk并配置环境变量（环境变量的配置是必须的，不然hadoop找不到jdk）。配置环境变量的时候需要注意不能覆盖了系统原来的环境变量，不然很多命令会无效。这样配置是没有问题的：

#java jdk
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64 
 

export JRE_HOME=${JAVA_HOME}/jre  

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  

export PATH=${JAVA_HOME}/bin:$PATH     

3.安装hadoop单机环境：

4.再在单机环境上配置伪分布模式，

为了能随时使用hadoop命令，配置一下hadoop的环境变量：

#hadoop
export HADOOP_INSTALL=/usr/local/hadoop-2.6.5
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL

二、在eclipse上搭建hadoop环境：

1.下载安装eclipse；

2.下载对应的hadoop插件并放到eclipse的plugins目录下面；

3.配置hadoop目录：

打开eclipse的Windows->Perferences的Hadoop Map/Reduce中选择hadoop所在目录

我的是/usr/local/hadoop-2.6.5

4.启动hadoop

(1)打开windows->Open Perspective下的Map/Reduce，在此Perspective下进行hadoop开发。

(2)打开Windows->Show View中的Map/Reduce Locations。

(3)在此view下右键选择New Hadoop Location，新建Hadoop连接。

5.编写程序：建立map/reduce工程，接下来跟普通的java程序一样，只不过运行时需要选择Run As->Run Configrution，之后填写一下输入输出目录，再点run即可。