hadoop入门-环境配置二

 

准备环境：

ubuntu9.04

sun-java-6

eclipse 3.3.2

hadoop 0.20.2

开始安装java基本套件，

$sudo apt-get install java-common sun-java6-bin sun-java6-jdk sun-java6-jre

安装sun-java6-doc, 将javadoc下载到/tmp 目录下，下载点

https://cds.sun.com/is-bin/INTERSHOP.enfinity/WFS/CDS-CDS_Developer-Site/en_US

/-/USD/ViewProductDetail-Start?ProductRef=jdk-6u10-docs-oth-JPR@CDS-CDS_Developer

然后执行：$sudo apt-get install sun-java6-doc

接下来是配置ssh连接不需要密码，因为hadoop要通过ssh来进行连接通讯，如果有密码，则会出问题。

$ ssh-keygen -t rsa -P ” -f ~/.ssh/id_rsa

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

通过上面两个命令后，应该就没有问题了，$ssh localhost ，进行测试，没有密码提示，则通过。

安装hadoop

到hadoop.apache.org去download最新版本的hadoop，目前是hadoop-0.20.2.tar.gz,

下载后放到home目录下。

$tar zxvf hadoop-0.20.2.tar.gz

$sudo mv hadoop-0.20.2 /opt/

$sudo chown -R fling:fling /opt/hadoop-0.20.2

$sudo ln -sf /opt/hadoop-0.20.2 /opt/hadoop

编辑 /opt/hadoop/conf/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-6-sun

export HADOOP_HOME=/opt/hadoop

export PATH=$PATH:/opt/hadoop/bin

编辑 /opt/hadoop/conf/core-site.xml

<configuration>

  <property>

    <name>fs.default.name</name>

    <value>localhost:9000</value>

  </property>

  <property>

    <name>hadoop.tmp.dir</name>

    <value>/tmp/hadoop/hadoop-${user.name}</value>

  </property>

</configuration>

编辑 /opt/hadoop/conf/hdfs-site.xml

<configuration>

  <property>

    <name>dfs.replication</name>

    <value>1</value>

  </property>

</configuration>

编辑 /opt/hadoop/conf/mapred-site.xml

<configuration>

  <property>

    <name>mapred.job.tracker</name>

    <value>localhost:9001</value>

  </property>

</configuration>

然后，就可以启动hadoop，进行测试了。

$ cd /opt/hadoop

$ source /opt/hadoop/conf/hadoop-env.sh

$ hadoop namenode -format

$ start-all.sh

$ hadoop fs -put conf input

$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'

以上没有错误，就算是运行成功了，我们已经运行了hadoop自带的sample程序"grep"，

当然，我们也可以运行其他的程序，比如wordcount.

命令行下的hadoop,我们已经跑通了，下面，我们来配置eclipse开发hadoop。

安装eclipse 3.3.2 classic,这里要注意了，一定是eclipse 3.4版本以下的,

如果用的3.4/3.5/3.6，hadoop自带的eclipse插件是没用的，

需要自己编译，我会在下一篇中讲解，如何编译适合自己的hadoop eclipse plugin。

下载 eclipse 3.3.2 classic 到home目录下，

$ cd ~

$ tar -zxvf eclipse-SDK-3.3.2-linux-gtk.tar.gz

$ sudo mv eclipse /opt

$ sudo ln -sf /opt/eclipse/eclipse /usr/local/bin/

部署hadoop eclipse plugin，

$ cd /opt/hadoop

$ sudo cp /opt/hadoop/contrib/eclipse-plugin/hadoop-0.20.2-eclipse-plugin.jar

/opt/eclipse/plugins

启动eclipse,然后就是在eclipse 上操作了。

更多信息请查看 java进阶网 http://www.javady.com