hadoop hdfs 伪分布式（Pseudo-Distributed Operation） 部署

•    一、 架构简介：  

     本文档介绍如何设置和配置单节点Hadoop安装，以便您可以使用Hadoop MapReduce和Hadoop分布式文件系统（HDFS）快速执行简单操作。

      使用hadoop版本：Apache Hadoop 2.6.5

      使用1个虚拟机节点以及角色：

            hadoop01(192.168.92.66)  将namenode、second namenode、datanode放置在该节点

• 二、操作系统环境准备

        2.1、依赖软件

           yum install -y ssh rsync          

        2.2、ssh免密

现在检查您是否可以在没有密码的情况下ssh到localhost：

  $ ssh localhost

如果在没有密码短语的情况下无法ssh到localhost，请执行以下命令：

 [root@hadoop01 .ssh]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
            [root@hadoop01 .ssh]# cat id_dsa.pub >> ~/.ssh/authorized_keys

  

 

       2.3、 jdk安装并配置环境变量

使用rz命令将jdk安装包上传到每个节点  /opt目录下

cd /opt

安装jdk  

[root@hadoop01 opt]# rpm -ivh jdk-7u67-linux-x64.rpm 

配置环境变量

vi /etc/profile

追加两行

export JAVA_HOME=/usr/java/jdk1.7.0_67

export PATH=$PATH:$JAVA_HOME/bin
           重新引入一下配置文件   source /etc/profile

      2.4、 虚拟机主机名以及hosts文件配置

修改主机名

[root@hadoop01 opt]# vi /etc/sysconfig/network
           

修改/etc/hosts文件如下

三、

• 三、hadoop部署（以hadoop01为例  其他节点同样操作 ）

3.1、 安装hadoop

使用rz命令上传安装包到/opt目录

cd /opt

解压hadoop安装包

[root@hadoop01 opt]# tar -zxvf  hadoop-2.6.5.tar.gz

将解压后文件复制到安装目录

[root@hadoop01 opt]# cp -r hadoop-2.6.5 /usr/local

 

3.2、 配置环境变量

[root@hadoop01 hadoop-2.6.5]# vi /etc/profile

修改如下：

      修改完毕后重新引入配置文件

     source /etc/profile

3.2、 修改配置文件

[root@hadoop01 hadoop]# cd /usr/local/hadoop-2.6.5/etc/hadoop

修改hdfs-site.html

[root@hadoop01 hadoop]# vi hdfs-site.xml 

    

修改core-site.html

修改slaves(配置datanode)

vi slaves 

 

 

           修改hadoop环境变量

           [root@hadoop01 hadoop]# vi hadoop-env.sh
          

创建临时目录

[root@hadoop01 hadoop]# mkdir -p /var/sxt/hadoop/local

 

namenode格式化

[root@hadoop01 hadoop-2.6.5]# hdfs namenode -format

结果如下表示格式化成功

启动

[root@hadoop01 current]# start-dfs.sh 

 

 

    

• 四、验证

创建虚拟目录

[root@hadoop01 opt]# hdfs dfs -mkdir /user

[root@hadoop01 opt]# hdfs dfs -mkdir /user/root

浏览器登录 http://hadoop01:50070/ 验证