Hadoop的安装实验报告

一、实验目的

1. 掌握Linux虚拟机的安装方法。Hadoop在Linux操作系统上运行可以发挥最佳性能。鉴于目前很多读者正在使用Windows操作系统，因此，为了完成本书的后续实验，这里有必要通过本实验让读者掌握在Windows操作系统上搭建Linux虚拟机的方法。

2. 掌握Hadoop的伪分布式安装方法。很多读者并不具备集群环境，需要在一台机器上模拟一个小的集群，因此，需要通过本实验让读者掌握在单机上进行Hadoop的伪分布式安装方法。

二、实验平台

操作系统: Windows 系统或者CentOS(推荐)。

虚拟机软件:推荐使用的开源虚拟机软件为VMware Workstation Player。 VMware Workstation Player是一款桌面虚拟化应用，无需重新启动即可在同一计算机上运行一个或多个操作系统。凭借其简单的用户界面、无可比拟的操作系统支持和移动性，用户可以比以往更轻松地使用公司桌面投入工作。可虚拟的系统包括Windows、MacOS X、Linux、OpenBSD、Solaris、 IBM OS2,甚至Android 4.0系统等。读者可以在Windows系统上安装VMware Workstation Player软件，然后在VMware Workstation Player上安装并且运行Linux操作系统。本次实验默认的Linux发行版为CentOS7。

三、实验内容和要求

1.下载相关软件

如果读者正在使用Linux 操作系统，可以跳过本步，不需要下载相关软件;如果正在使用Windows操作系统，请下载VMware Workstation Player软件和CentOS7镜像文件。

VMware Workstation Player软件的下载地址: https://www.vmware.com/products/workstation-player/workstation-player-evaluation.html

CentOS7的镜像文件下载地址: https://www.centos.org/download/。

2.安装Linux虚拟机

如果读者正在使用Linux操作系统,则不需要了解Windows系统上的Linux虚拟机安装方法;如果正在使用Windows操作系统,则需要在Windows系统上安装Linux虚拟机。首先，在Windows系统上安装虚拟机软件VMware Workstation Player软件;其次，在虚拟机软件VMware Workstation Player上安装CentOS7操作系统。

3.进行Hadoop伪分布式安装

在Linux环境下完成伪分布式环境的搭建，并运行Hadoop自带的WordCount实例检测是否运行正常。

步骤一、创建虚拟机

1. 选择新建虚拟机

 

2.选择虚拟机类型

 

3.选择虚拟机磁盘空间

 

4更改虚拟机硬件环境

 

步骤二、安装Centos7操作系统

1. 将ISO文件装入CD/DVD

 

1. 选择安装语言

 

1. 选择安装位置、安装类型

 

1. 设置网络环境

1. 设置root用户密码

1. 安装文件

1. 启动后设置

步骤三、设置CentOS7更新源

1. 下载repo文件（以163源为例）

wget http://mirrors.163.com/.help/CentOS7-Base-163.repo

2. 备份并替换系统的repo文件

cp CentOS7-Base-163.repo /etc/yum.repos.d/

cd /etc/yum.repos.d/

mv CentOS-Base.repo CentOS-Base.repo.bak

mv CentOS7-Base-163.repo CentOS-Base.repo

 

3. 执行yum源更新命令

yum clean all

yum makecache

yum update

 

 

步骤四、更改用户为sudoer用户

1. 切换到root用户

su –

2. 修改/etc/sudoers文件的权限，添加写权限

chmod 660 /etc/sudoers

3. 编辑sudoers文件，添加hadoop用户的权限

hadoop ALL=(ALL) ALL

 

4. 恢复sudoers文件原始权限

chmod 440 /etc/sudoers

5. 切回hadoop用户去测试一下，是否可适用sudo命令

步骤五、安装Java

一、压缩包的安装

1. 去官网下载对应版本的压缩包

2. 解压缩

tar -zxvf 压缩包名

3. 将解压缩的目录移动到指定位置

4. 修改系统配置文件

5. update-alternatives

二、yum在线安装

1. 查看支持的在线安装版本

yum -y list java*

2. 在线安装java

yum -y install 安装应用名称

3. 找到安装的路径

/usr/lib/jvm/……

 

4. 写入JAVA_HOME并修改PATH(在配置文件中bashrc或profile)

vi ~/.bashrc

JAVA_HOME=/usr/lib/jvm/……

PATH=$PATH:$JAVA_HOME/bin

 

1. source 配置文件

 

6. 更新java

update-alternatives --install /usr/bin/java java /usr/lib/jvm/……/bin/java 300

update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/……/bin/javac 300

update-alternatives --config java

7.查看JAVA

java -version

步骤六、设置SSH免密登陆

1. 生成密钥

ssh-keygen -t rsa

2.复制公钥到authorized_keys

~/.ssh/authorized_keys

cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3. 测试免密登陆

ssh 机器名

 

步骤七、安装和配置Hadoop

一、hadoop程序的安装

1. 下载hadoop

hadoop.apache.org  (2.7.7)

2. 解压

tar -zxvf Hadoop的压缩包

3. 将解压后的目录移动指定目录

mv 解压后的目录 /usr/local/Hadoop

4. 修改系统环境变量

vi ~/.bashrc

 

5. 更新配置文件

source 配置文件

 

6. 检验

hadoop version

二、hadoop的配置

1. 伪分布式的配置：

core-site.xml

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/usr/local/hadoop/tmp</value>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/usr/local/Hadoop/tmp/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/usr/local/Hadoop/tmp/dfs/data</value>

</property>

</configuration>

三、格式化分布式文件系统

hdfs namenode -format

四、启动hdfs

start-dfs.sh

五、验证

jps

或浏览器中输入：localhost：9870