在虚拟机中安装单机Hadoop

安装单机Hadoop系统

一、所用软件版本

虚拟机：VMware_workstation_full_12.5.2

操作系统：ubuntu-16.04.2-desktop-amd64

HADOOP：hadoop-2.7.3.tar

JDK: jdk-8u121-linux-x64.tar

二、JDK的配置

1.将/home/software/jdk-8u121-linux-x64.tar进行解压

2.将解压后的jdk1.8.0_121移动到/usr/local/java文件目录下

3.输入命令：sudo gedit/etc/profile配置java环境变量如下：

4.使环境变量生效并验证java环境变量是否配置成功

三、SSH的配置

1.安装SSH

2.安装成功后，尝试登陆本机,命令：ssh localhost

3.设置ssh免密登陆，命令：ssh-keygen

四、创建hadoop用户

1.创建hadoop用户：hadoop

2.使用hadoop登陆系统

五、Hadoop的安装

1.并将解压后的hadoop-2.7.3从下载中移至/usr/local/hadoop文件目录下并授予权限

2.同java一样，命令：sudo gedit /etc/profile配置环境变量后，查看hadoop是否安装配置成功，如下：

六、hadoop伪分布式配置

1．用下面命令修改配置文件core-site.xml如下图：

2. 用下面命令修改配置文件 hdfs-site.xml如下图：

3. 用下面命令修改配置文件mapred-site.xml如下图：

4. 用下面命令修改配置文件 yarn-site.xml如下图：

5. namenode格式化如下图所示，Exiting withstatus 0表示格式化成功

6. 启动进程，命令：./sbin/start-dfs.sh,第一次启动出现如下问题：

    解决问题再次启动如下图，并用jps验证如下图：

7. 在网页查看 namenode 和 datanode 信息

七、WordCount实验

1.实验test.txt在/home/usr/lacal/hadoo文件目录下，实验具体步骤及结果如下：

就这样环境搭好了，还跑了统计词频的小实验，需要细心、细心、再细心，再加点耐心，大功告成！