utuntu13.04系统下hadoop-1.1.2环境搭建及其eclipse插件使用

Hadoop-1.1.2搭建

1.软件准备

1.1.操作系统：ubuntu13.04 32位

1.2.JDK：jdk-6u45-linux-i586.bin

1.3.hadoop：hadoop-1.1.2.tar.gz

1.4.hadoop-1.1.2eclipse插件：hadoop-eclipse-plugin-1.1.2.jar

1.5.eclipse：eclipse-java-galileo-SR2-linux-gtk.tar.gz（96.9M）

EclipseIDE for Java Developers

Buildid: 20100218-1602

(c)Copyright Eclipse contributors and others 2000, 2009. All rightsreserved.

Visithttp://eclipse.org/

Thisproduct includes software developed by the

ApacheSoftware Foundation http://apache.org/

将上述软件下载好之后放到home/work/yufan文件夹下没有文件夹自己新建即可

2.软件安装

2.1.安装前的准备：

2.1.1.新建软件安装目录：

2.1.1.1.ctrl+alt+t快捷键打开终端，输入命令cd../../ 按回车切换目录

2.1.1.2.输入命令sudomkdir programfiles 按回车新建文件夹programfiles，注

意期间需要输入当前登陆用户的密码验证

2.1.1.3.输入命令sudochmod 777 programfiles 按回车赋予文件夹操作权限

2.1.操作系统安装：略

2.2.JDK安装：

2.2.1.解压jdk安装文件：

2.2.1.赋予jdk安装文件的可执行权限：

输入命令：sudochmod 755

/home/yufan/work/jdk/jdk-6u45-linux-i586.bin回车

2.2.2.解压jdk安装文件

sudo-s /home/yufan/work/jdk/jdk-6u45-linux-i586.bin 回车

2.2.3.将解压后的文件剪切到programfiles文件夹下

2.3.hadoop安装：

2.3.1.解压hadoop压缩文件：

输入命令：tarzxvf /home/yufan/work/hadoop/hadoop-1.1.2.tar.gz 回车之后

会在hadoop目录下出现解压后的hadoop-1.1.2文件夹

2.3.2.将解压后的hadoop-1.1.2文件夹剪切到programfiles文件夹下

2.4.eclipse安装：

2.4.1.解压eclipse压缩文件：

输入命令：tarzxvf /home/yufan/work/eclipse/

eclipse-java-galileo-SR2-linux-gtk.tar.gz 回车之后会在hadoop 目录下出现解压后的eclipse文件夹

2.4.2.将解压后的eclipse文件夹剪切到programfiles文件夹下

2.4.3.一次打开文件夹programfiles，eclipse之后，在eclipse文件夹下有个eclipse

文件，右击该文件点击创建链接，见创建好后的eclipse链接拖拽到桌面

3.软件配置

3.1.jdk环境变量配置：

3.1.1.在终端中输入命令：sudogedit /etc/profile回车,可能要输入当前登陆用户的登 陆密码，打开profile之后，在profile末尾添加一下代码：

#setjava environment

exportJAVA_HOME=/programfiles/jdk1.6.0_45

exportCLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

exportPATH=$JAVA_HOME/bin:$PATH

ctrl+s保存之后即可

3.1.2.修改系统默认jdk：

sudoupdate-alternatives –install /usr/bin/java

java/programfiles/jdk1.6.0_45/bin java 300

sudoupdate-alternatives –install /usr/bin/javac

java/programfiles/jdk1.6.0_45/bin javac 300

sudoupdate-alternatives –install /usr/bin/jar

java/programfiles/jdk1.6.0_45/bin jar 300

sudoupdate-alternatives –install /usr/bin/javah

java/programfiles/jdk1.6.0_45/bin javah 300

sudoupdate-alternatives –install /usr/bin/javap

java/programfiles/jdk1.6.0_45/bin javap 300

执行命令：sudoupdate-alternatives –config java来选择我们安装的jdk版本

3.2.hadoop环境变量配置：

在终端中输入命令：sudogedit /etc/profile回车,可能要输入当前登陆用户的登陆密码， 打开profile之后，在profile末尾添加一下代码：

#sethadoop

exportHADOOP_HOME=/programfiles/hadoop-1.1.2

exportPATH=$HADOOP_HOME/bin:$PATH

ctrl+s保存之后即可

打开/programfiles/hadoop-1.1.2/conf/mapred-site.xml文件，修改如下：

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

打开/programfiles/hadoop-1.1.2/conf/hdfs-site.xml文件，修改如下：

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

打开/programfiles/hadoop-1.1.2/conf/core-site.xml文件，修改如下：

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

3.3.hadoop插件配置：

将hadoop-eclipse-plugin-1.1.2.jar复制到/programfiles/eclipse/plugin文件下

打开eclipse，Window->Preference->HadoopMap/Reduce选项，点击Browse选

择/programfiles/hadoop-1.1.2目录,点击Apply，点击OK。

点击eclipse左下角的Showview as a fast view->Other->MapReduce

Tools->Map/ReduceLocates,然后点击新建HadoopLocation（点击蓝色的大象即 可）,General选项卡中，填写Locationname：hadoop(可随意填写),Map/ReduceMaster:Host:localhost,Port:9001,DFSMaster:Host:localhost,Port:9000 然 后点击Finish即可。

点击eclipse左下角的Showview as a fast view->Project Exporer，会出现DFS

Location选项，展开有只蓝色的大象名叫Hadoop,继续展开，会出现一个文件夹图表， 图标后边跟一个括号(1)，继续展开文件夹。

此时很有可能会出现错误：Callto localhost/127.0.0.1:9000 failed on connection exception :java.net.ConnectException

解决办法：终端中输入命令：hadoopnamenode -format 回车 start-all.sh回车

此时很有可能会出现一下错误：localhost:ssh: connect to host localhost

port22: Connection refused

解决办法：运行命令：ps-e | grep ssh查看是否有sshd进程，如果没有，说明

server没启动，通过/etc/init.d/ssh-start 启动server进程，如果提示ssh不 存在那么就是没安装server，通过sudoapt-get install openssh-server命令安

装即可此时很有可能会出现一下错误：localhost:Error: JAVA_HOME is not set.

解决办法：打开/programfiles/hadoop-1.1.2/conf/hadoop-env.sh加入

JAVA_HOME配置：exportJAVA_HOME=/programfiles/jdk1.6.0_45

之后重新运行hadoopnamenode -format 回车 start-all.sh回车即可然后在到

eclipse中的ProjectExporer中的DFSLocation上右键Disconnection断开，然 后右键refresh，然后逐一展开DFSLocation此时应该不会报错了，可以在文件夹图标 上右键新建文件夹，在该文件夹下右键上传一些文件应该是可以成功的。

4.hadoop设置相关

4.1.hadoop免登陆设置：

输入命令：ssh-keygen-t -rsa，

提示：Generatingpublic/private rsa key pair.
：Enterfile in which to save the key (/yufan/home/.ssh/id_rsa):

此处(/yufan/home/.ssh/id_rsa)中的内容与个人计算机安装时的设置有关，比如我的计算

机名字取的是yufan，那么此处提示就应该是/yufan/home/.ssh/id_rsa，将此括号中的内 容输入提示内容之后按回车

提示：Enterpassphrase (empty for nopassphrase):此处可以直接回车，也可以输入

类似于密码的个验证东东，为了方便可以直接回车

提示：Entersame passphraseagain:跟上面一样 直接回车搞定

复制公钥文件内容到相同目录下的authorized_keys文件中，命令如下：

cd~/.ssh/ 回车 catid_rsa.pub >> authorized_keys 回车即可

5.启动hadoop

在终端中输入hadoopnamenode -format 回车,格式化HDFS

在终端中输入start-all.sh启动hadoop

在浏览器输入以下网址查看启动成功与否

MapReduce:

http://localhost:50030

HDFS:

http://localhost:50070

如果能正常打开则说明启动成功：

注意，在此之前，如果你的hadoop安装目录下有之前对hadoop源码编译过,那么请将hadoop目

录下的build文件夹删除，因为这样会影响HDFS的启动