安装hadoop

一、实验目的和要求

目的：

掌握 VMWare 虚拟机、CentOS 安装与配置；至少搭建 2 个节点的 Hadoop 集群；熟悉启停、格式化、文件上传下载等常用命令。

要求： 参照指导书及集群配置样例，快速熟悉相关内容，下载或拷贝教师提供的Centos7.0、JDK、Hadoop 安装程序，熟悉相关软件的安装、使用技巧，初步掌握 Hadoop 集群的搭建和使用。

二、实验内容和原理

    在 Windows 下安装 VMWare 虚拟机，在虚拟机中安装和配置 CentOS7.0；搭建至少 2 个节点的 Hadoop 集群；熟悉启停、格式化、文件上传下载等常用命令。

三、主要仪器设备

软件环境：Windows 7,VMWare Workstation pro,Centos7.0，Hadoop2.6.2，JDK1.7.0_79 等；

硬件环境：P4 4G  PC 机。

四、操作方法与实验步骤

（一）机器网络环境

1.本次搭建两个节点，一个是主节点，一个是从节点。节点ip和主机名分配如下：

IP	机器名	类型	用户名
192.168.145.136	yuanxiaobei	namenode	root
192.168.145.137	slave1	datanode	root

 

 

 

 

 

2.所有机器防火墙全部关闭。

 

（二）安装配置JDK1.7.0_79

1在主节点中的/home中建好java，soft目录。将jdk1.7.0_79压缩包放在soft目录中。

 

 

2.进入soft目录，将下载好的jdk安装包解压到java目录下。

 

3.进入配置文件./bash_profile配置Java路径

 

 

在文件中加入JAVA_HOME等路径信息，具体如下:

 

4.使配置文件生效，查看java信息，若显示正确的信息，则配置成功。

 

5.用上述方法配置从节点的jdk的环境

（三）环境准备及免密码登录

1.此文件中改名字

 

2.在/etc/sysconfig/network文件中配置网络信息：

 

 

3在节点上修改/etc/hosts文件，使各节点机可以用机器名访问

 

 

4.ssh免密码登录，修改各台机器ssh配置文件，去掉如下三行注释，退出

 

 

5.接着用ssh-keygen -t rsa产生公钥

 

6.将各节点产生的公钥合并到authorized_keys中，并且用scp命令传给其他节点

 

 

 

7.免密码配置成功后，测试截图如下

 

（四）安装配置Hadoop

1.将下载到soft的压缩包解压到/home/hadoop目录下

 

2.在/home/hadoop/下建立hdfs和tmp目录，并且在hdfs中建立name和data目录

 

 

3.进入/home/hadoop/hadoop-2.6.2/etc/hadoop目录，配置主要配置文件

 

4.进入slaves文件加入从节点名字

 

 

5.进入core-site.xml，配置文件系统和临时目录等参数。

 

 

6.配置hdfs-site.xml文件，配置name和data目录冗余数为2

 

 

 

 

7从节点需要配置mapred-site.xml文件，具体如图：

 

 

 

8.配置yarn-site.xml文件，配置管理节点名字等。

 

 

9.配置hadoop-env.sh,mapred-env.sh和yarn-env.sh文件中的JAVA_HOME，确保集群能正确访问JDK，具体如图：

 

 

10.在主节点配置好的Hadoop版本传送到从节点，压缩/home下的hadoop 和java目录到hadoop.tar.gz文件中

 

11. 用scp hadoop.tar.gz root@slave1:/home/hadoop.tar.gz命令分发到从节点上

12.用如下命令解压，使从节点的/home目录下得到与主节点一样的hadoop配置

13在主节点上格式化集群

 

14.在/home/hadoop/hadoop-2.6.2/sbin下运行启动脚本

 

五、实验结果与分析

1（1）主节点运行时的进程

 

（2）从节点运行时的进程

 

2.通过浏览器运行如下，查看启动状态，可看到两个节点

http://yuanxiaobei:50070