Hadoop伪分布式安装

Hadoop伪分布式安装

一、安装环境说明

1.本例中安装的hadoop版本为Hadoop 0.20.2-cdh3u6，操作系统为Centos 6.4 x64

2.请确保你已经安装了jdk（对于0.20.2版本的Hadoop建议安装jdk 6）

3.建议新建一个hadoop用户，本例中默认的安装用户为hadoop（当然你可以以任一用户的身份安装、运行hadoop，这一点无关紧要）

#adduser hadoop;#passwd hadoop

4.hadoop的安装目录为/opt/hadoop

5.请确保设置了ssh无密码登陆本机，具体设置方法可以参考http://blog.csdn.net/zhu_xun/article/details/19152555

6.请确保设置了本机ip地址和本主机名的映射关系（/etc/hosts）

二、安装

1.下载hadoop

可以到cloudera的官网下载，参考网址：http://archive.cloudera.com/cdh/3/hadoop-latest.tar.gz

2.解压文件hadoop-latest.tar.gz：

 tar -zxvf hadoop-latest.tar.gz

3.重命名hadoop-latest文件夹：

mv hadoop-latest hadoop

4.移动文件夹hadoop至安装目录：

mv hadoop /opt/

5.设置/opt/hadoop目录所有者为hadoop用户：

chown -R hadoop.hadoop /opt/hadoop

6.添加环境变量（~/.bashrc或者/etc/profile文件）：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

7.修改hadoop配置文件：

（1）.conf/core-site.xml：

 <configuration>
           <property>
                 <name>fs.default.name</name>
                 <value>hdfs://localhost:9000</value>
            </property>
 </configuration>

（2）.conf/hdfs-site.xml：

<configuration>
        <property>
                 <name>dfs.replication</name>
                 <value>1</value>
         </property>
</configuration>

（3）.conf/mapred-site.xml：

<configuration>
        <property>
               <name>mapred.job.tracker</name>
               <value>localhost:9001</value>
         </property>
</configuration>

三、测试

1.格式化hdfs：

hadoop namenode -format

2.启动 hadoop：

start-all.sh

3.通过jps查看hadoop各节点是否正常启动：

jsp

如果出现如下信息，则说明hadoop正确安装并启动成功

2761 TaskTracker
2794 Jps
2440 DataNode
2559 SecondaryNameNode
2642 JobTracker