云计算实验截图

一.创建EC2实例
1.从AWS平台创建3台Amazon EC2的实例，在本次实验中使用的AMI镜像为Amazon Ubuntu 18.04版本。为了保证空间足够，使用了16GB的SSD空间。

三台实例分别命名为master slave01 slave02

二.安装并配置并配置java环境
2.1 使用Xshell远程登录三个实例

为了方便使用，创建hadoop用户 并给予管理员权限使用命令如下：
$ sudo useradd -m hadoop -s /bin/bash # 增加 hadoop用户
$ sudo passwd hadoop # 设置密码，需要输入两次
$ sudo adduser hadoop sudo # 为 hadoop 用户增加管理员权限
$ su hadoop # 切换到 hadoop 用户，需要输入密码
$ sudo apt-get update # 更新 apt 源
2.2 Java安装与配置
使用curl命令下载java安装包，并将其解压到hadoop用户文件夹下并命名为Java。使用vim ~/.bashrc修改环境变量。

使用source ~/.bashrc命令使修改生效，输入java -version确定安装成功。

在 master 节点完成上述步骤后，在两个 slave 节点完成新hadoop用户、安装Java 环境两个步骤
三.配置网络
3.1 修改各个节点的主机名，执行 sudo vim /etc/hostname ，在 master 节点上将 ip-xxx-xx-xx-xx 变更为Master。其他节点类似，在slave01节点上变更为Slave01，slave02节点上为Slave02。
修改成功后，终端内ip-xxx-xx-xx-xx会变更为Master，slave01与slave02类似。

3.2为了使三台主机之间可以正常访问，需要配置AWS的安全组。由于三台EC2实例是同时创建的，三者使用的安全组为同一组。
将安全组的入站规则改为所有流量均可以使用所有端口进入即可。
修改成功后使用ping命令检测三台主机是否可以互通。

3.3 为了能够使hadoop正常分发任务，需要安装SSH server使Master可以连接Slave。
在Master节点执行：
$ sudo apt-get install openssh-server
$ cd ~/.ssh/
$ ssh-keygen -t rsa
$ cat ./id_rsa.pub >> ./authorized_keys
执行完成后成功的生成了秘钥文件id_rsa.pub，需要将该文件写入slave ~/.shh 文件中的authorized_keys内。传输文件使用XFTP完成。
写入成功后即可使用Master无密码登录Slave01与Slave02。

四.安装 Hadoop并启动
4.1 在master上使用curl命令下载Hadoop，本次实验使用的版本为2.8.4。下载完成后将hadoop解压至/usr/lib文件夹下。

4.2 配置hadoop环境变量，执行 vim ~/.bashrc，并加入
export PATH=$PATH:/usr/lib/hadoop/bin:/usr/lib/hadoop/sbin

4.3 修改Hadoop 配置文件
（1）文件 hadoop-env.sh 中把
export JAVA_HOME=${JAVA_HOME} 修改为 export JAVA_HOME=/usr/lib/java ，即 Java 安装路径。

（2）文件 slaves 把里面的 localhost 改为 Slave01和 Slave02

（3）修改core-site.xml：

（4）修改hdfs-site.xml：
（5）修改mapred-site.xml：

（6）修改yarn-site.xml：

4.4 配置好后，将Master上的 /usr/lib/hadoop文件夹复制到各个slave节点上。在Master节点上执行：
$ cd /usr/lib
$ tar -zcf ~/hadoop.master.tar.gz ./hadoop
$ scp ~/hadoop.master.tar.gz Slave01:/home/hadoop
$ scp ~/hadoop.master.tar.gz Slave02:/home/hadoop
分别在两个 slave 节点上执行：
$ sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/lib
$ sudo chown -R hadoop /usr/lib/Hadoop
安装完成后在 Master 节点执行 NameNode 的格式化：
$ hdfs namenode -format
执行结果如下：

看到successfully formatted 和 Exitting with status 0，初始化已成功
4.5 在Master节点上进行启动 Hadoop和 Yarn：
$ start-dfs.sh
$ start-yarn.sh
$ mr-jobhistory-daemon.sh start historyserver

通过命令 jps 可以查看各个节点所启动的进程
Master启动的进程

Slave启动的进程

通过命令 hdfs dfsadmin -report 可查看集群状态，其中 Live datanodes (2) 表明两个从节点都已正常启动。

五.执行 Hadoop 分布式实例
5.1执行如下命令
$ hadoop fs -mkdir -p /user/hadoop
$ hadoop fs -mkdir input $ hadoop fs -put /usr/lib/hadoop/etc/hadoop/.xml input
$ hadoop jar /usr/lib/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-.jar grep input output ‘dfs[a-z.]+’
结果如下

输入hadoop fs -cat output/* 查看结果

最后关闭 Hadoop 集群