Hadoop 伪分布式安装

Hadoop的安装分为本地模式、伪分布式模式、集群模式

在这里演示伪分布式模式的安装和部署，以下将演示hadoop安装在redhat上的方法，首先要确保防火墙已经关闭。

1.      安装JDK，设置环境变量，这里选择JDK1. 6

2.      下载hadoop1.1.2安装文件，hadoop-1.1.2.tar.gz

3.      将该文件解压到linux机器上，配置hadoop环境变量，具体配置如下

exportJAVA_HOME=/usr/local/jdk

export HADOOP_HOME=/usr/local/hadoop

export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

4.      设置ssh自动登录

生成密钥文件，ssh-keygen -t rsa

修改生成文件的名字：cp id_rsa.pub authorized_keys， 这里一定要这么做

确认ssh自动登录已经成功：ssh hadoop，连续登录两次主机，第二次不用确认信息，说明设置成功

5.      配置hadoop文件

要配置伪分布式，这里要修改hadoop的配置文件

在hadoop中设置java home

1）  修改hadoop-env.sh

在hadoop/conf下打开hadoop-env.sh

export HADOOP_PID_DIR=/usr/local/hadoop/pids

export JAVA_HOME=/usr/local/java

2）  修改core-site.xml

在core-site.xml中加入以下行，设置hadoop file system的访问路径，以及tmp文件的存储路径，在源码中，你可以看到默认值

<property>

    <name>fs.default.name</name>

    <value>hdfs://hadoop:9000</value>

</property>

<property>

     <name>hadoop.tmp.dir</name>

       <value>/usr/local/hadoop/tmp</value>

    </property>

3）  修改hdfs-site.xml

<configuration>

    <property>

       <name>dfs.replication</name>

        <value>1</value>

    </property>

</configuration>

4）  修改mapred-site.xml

<configuration>

    <property>

        <name>mapred.job.tracker</name>

        <value>hadoop:9001</value>

    </property>

</configuration>

6.      格式化namenode

Hadoop namenode –format

7.      启动hadoop

start-all.sh,这里启动了五个java进程，有namenode, datanode, jobtracker,tasktracker, secondarynamenode, 可以用jps命令查看是否启动成功

        

8.      在浏览器中查看namenode是否启动成功

http://localhost.localdomain:50070/dfshealth.jsp