虚拟机下利用ubuntu系统在本地搭建三节点Hadoop集群的全过程（附全部环境信息）

背景简述

由于学校新开设的一门大数据导论课程，我需要搭建一个Hadoop集群来进行一些大数据相关的坑成设计。而在搭建集群的过程中，我参考了网上的许多教程，但是由于版本不同或是某些叙述不到位或是缺少，导致我在搭建的过程中吃了不少苦头，但最终还是成功完成搭建。完成之后，我有了自己写一片博客的想法以供后学者参考。我不能保证你按照我的做法一定能搭建成功，所以我还会讲一些我自己的解决问题的经验。在我看来，搭建成功固然重要，但你能学到更多东西才更好。
本文主要面向的读者是对于Linux系统所知甚少，并且处于对大数据的初步接触阶段。

搭建流程

建议初次学习的人各种软件尽可能选择相同的版本，尤其是HADOOP，2.X和3.X版本的环境配置存在较大的差异，本文对3.X版本不完全适用。由于更多的是在命令行操作，所以没有进行语言汉化。

1.虚拟机环境搭建及相关文件的下载

首先在VMware Workstation官网上下载软件，然后下载ubuntu系统镜像
我将所有软件都安装在F盘中便于管理，但位置可以随你心意。
然后下载Hadoop，下载JDK （下载时需要注册账户）
本人选择的都是官网或知名大学的镜像网站，也可自行选择其他路径下载，一些下载包的版本及格式建议为：ubuntu-18.04.2-desktop-amd64.iso、hadoop-2.8.5.tar.gz、jdk-8u211-linux-x64.tar.gz
至于具体安装过程，属于一键式操作，几乎不存在出故障的可能，不过多叙述。（建议虚拟机名称为master）

2.虚拟机更改下载源

虚拟机第一次启动后，可能会提示进行更新，如果没有，在所有软件里搜索software updater。

点击Settings，在ubuntu software中更改download from，选择others，找到china，展开选择一个你喜欢的下载网站，我采用的是阿里云，然后保存更改（点close就好），建议所有软件均更新至最新版。

3.配置JDK和Hadoop相关环境变量

首先将下载的文件拖放到当前用户的根目录下，并解压（右键extract here）至当前文件夹。建议所有机器上的文件放在相同的位置(此处不复制Hadoop也没问题，当时我是为了单机版测试才安装的它)

修改/etc/profile文件，在命令行中使用sudo gedit /etc/profile在文件的最后加上如下代码(命令行中密码不可见，输入后回车即可）修改后保存关闭（出现warning是正常的）。在命令行中输入source /etc/profile。

export JAVA_HOME=/home/z/jdk-12.0.1
export PATH=${
   JAVA_HOME}/bin:$PATH

现在可以用java -version检查JDK是否已正常安装。

4.创建Hadoop用户

然后我们最好创建一个专门用于运行Hadoop的账户，以避免权限等诸多问题，有兴趣可自行了解。
先创建用户组