【云计算】Hadoop，测试wordcount

【云计算】Hadoop，测试wordcount

一、 学习目的

1. 熟练掌握Linux的相关命令并会配置java环境。
2. 学会安装Hadoop并配置Hadoop的环境。
3. 深入理解MapReduce并会进行Hadoop的编程。
4. 熟练搭建平台和环境，能执行MapReduce实例，同时会使用自带工具TestDFSIO来测试I/O。

二、实验内容

1. Install Virtual Machine and Linux
2. Install Hadoop
3. Testing Hadoop Performance
4. Realize and run Hadoop application
5. Report

三、 课程实验设备与环境
VMware Workstation Pro 14.0
Centos 7
Xshell 5
Hadoop-2.9.2
Jdk1.8.0_191

四、 设计过程

1. 安装虚拟机软件和Linux
   1.1 安装Virtual Machine虚拟机软件，并在虚拟机上安装Linux，我装的是Centos7
   
   1.2 找到安装Linux的IP地址，可以用Xshell进行命令行管理虚拟机
   1.2.1 通过su命令切换到root用户，因为root的权限比一般用户大
   
   1.2.2 输入 ls /etc/sysconfig/network-scripts命令（注意ls与/etc之间有空格），找到ifcfg-ens33这个文件
   
   1.2.3 然后，输入vi /etc/sysconfig/network-scripts/ifcfg-ens33命令（注意vi与/etc之间有空格），输入这个命令后，会打开ifcfg-ens33这个文件，如图：
   
   1.2.4 如果你的是显示的“ONBOOT=no”，就不能上网。下面先把它改为“yes”。
   先使用方向键将光标移动到ONBOOT=no那一行，然后按下字母 “i”，此时屏幕下方会出现“INSERT”字样，就可以进行修改操作
   
   修改完成后按“Esc”退出编辑，按“：wq”保存编辑。然后执行service network restart命令，等待重启network。开机后输密码进入操作系统，接着再次换root账户进入终端。 输入“ping www.baidu.com”出现如下图所示，即连上了网络，按ctrl +c 结束指令。
   
   安装一个“ifconfig”命令，ifconfig命令被用于配置和显示Linux内核中网络接口的网络参数，使用：yum install net-tools
   我们输入ifconfig
   
   我们可以看到我们的IP地址为192.168.140.134
   接下来用Xshell来登录
   
   1.3 通过xshell工具成功连接安装好的虚拟机之后可通过rpm -qa | grep java或 rpm -qa | grep jdk 命令来查询出系统自带的jdk
   
   1.4 清除Linux自带的openjdk
   然后通过 rpm -e --nodeps 后面跟系统自带的jdk名
   这个命令来删除系统自带的jdk
   例如：

rpm -e --nodeps java-1.7.0-openjdk-1.7.0.191-2.6.15.5.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.191-2.6.15.5.el7.x86_64
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.181-7.b13.el7.x86_64
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64

删完之后可以再通过 rpm -qa | grep java或 rpm -qa | grep jdk 命令来查询出是否删除掉

1.5 安装一个新的orcle的jdk
接下来就是要安装自己的jdk了，通过命令cd /usr/local/ 进入local目录，并通过 ll（两个小写的L）命令或者 ls 命令（ll本身不是命令，只是 ls -l 命令的一个别名）列出当前目录下得所有非隐含的文件，如果想要看到隐含（以.开头的，如.test.txt）文件信息可通过ll –a(ls -all)来查看

进入local目录之后 通过mkdir java命令来创建java目录存放自己的jdk
（扩展：如果你想一次性在同一级目录下创建多个平级的目录可以通过 mkdir brother1 brother2 (如要创建更多就在后面加上去就可以了，中间用空格隔开)这样的命令来创建，如果要一次创建父子目录（parent/child）可以通过 mkdir -p parent/child/grandson 来创建）

cd /usr/local //进入usr的local目录
mkdir java //在local目录下创建于一个java文件夹用来存放jdk

此时多出一个java文件夹

创建好之后，进入java目录cd java
在线导入安装包的插件，如果之前没有用过可以通过yum -y install lrzsz命令安装这个插件
我们导入jdk包

传输好后解压一下，并删除原来的压缩文件

tar -zxvf jdk-8u191-linux-x64.tar.gz
rm -rf jdk-8u191-linux-x64.tar.gz

这时安装包已经没用了，我一般都会删掉安装包 ，通过 rm -rf jdk-8u191-linux-x64.tar.gz删除安装包 -f的意思就是不询问删除，如果你不加 -f 在删除时它会询问你是否要删除该安装包，我是确定要删了就加上 -f 了。这里还有递归删除不询问的命令，如果你要删除一个目录，而这个目录下还有目录或者有文件，比如在parent/child/grandson 这样的目录下你要删除 parent 下得所有目录和文件（包括parent）就可以用到rm -rf parent 命令就可以删除掉了。
删掉安装包之后就开始配置环境变量了，通过vim /etc/profile命令打开profile文件盘配置环境变量。
打开之后按 i 进入insert（插入）模式，在文件末尾添加上环境变量

export JAVA_HOME=/usr/local/java/jdk1.8.0_191
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

添加完之后保存并退出，保存并退出的命令有两种
第一种是：按住shift 键然后连按两次z（这是我常用的，因为它方便快速），
第二种是：wq 命令，有一种是不保存退出的命令:q ，注意：以上三种命令都是在非插入模式&#x