Hadoop1.2.1配置

今晚比较有空，记录一下如何配置Hadoop以及相关软件的。

在家里的ubuntu系统上配置了一个单节点的Hadoop。

首先安装JAVA，然后是SSH无密码登录。

修改的配置文件如下：

/etc/profile

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_20  
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib 
export PATH=${JAVA_HOME}/bin:$PATH

hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_20

core-site.xml

<configuration>
    <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
    </property>
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmpdir</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>
</configuration>

配置好后要先格式化namenode，然后再启动Hadoop。

启动后能够看见6个进程：

2547 NameNode
3047 SecondaryNameNode
2824 DataNode
9130 Jps
3135 JobTracker
3359 TaskTracker

Hadoop的配置非常简单，好像从来没有遇到过问题。