基于linux平台的Hadoop完全分布式集群搭建

前一段因为课设搭建了基于linux的Hadoop集群，现将搭建过程记录如下，如有错误，望不吝指出。

注：下文从自己的课设报告中直接粘贴下来的，可能有些格式问题。

环境搭建

       因为此次课程设计需要用到多台主机，所以选择在虚拟机中完成。三台虚拟机系统均选择Ubuntu16.04。虚拟机分配2G内存，100G硬盘，单个网络适配器，网络连接方式选择nat方式。大致情况如下图所示

图3. 1 每个虚拟机的概况

       系统安装使用Vmware Workstation的简易安装完成。为了使界面友好，安装了中文语言。

图3. 2 安装中文语言

       习惯于使用vim来修改文件，所以还安装了vim。

       在安装好了一台虚拟机后，可以使用Vmware Workstation的克隆功能来获得其他两台虚拟机，克隆功能可以百度使用方法，在这里不再展开说明。

图3. 3 克隆向导

       至此，我们已经获得了三台虚拟机，为了接下来的需要以及方便区分，我们将三台虚拟机分别取名为master、node1、node2。

图3. 4 三台虚拟机

       虚拟准备完毕，为了阅读的连贯性，其他环境的准备将放在设计过程（步骤）中介绍。

 

4 过程（步骤）

4.1 安装JDK

       由于系统是新安装的,之前并没有安装过JDK，需要先安装JDK。此次课设安装的JDK版本是jdk1.8.0_191。（下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html）。

       在下载好之后，可以进入下载的文件夹查看：下载后将它复制到了新建的java文件夹便于查找。

图4. 1 下载的JDK

将下载后的压缩包解压：

图4. 2 解压JDK

       接下来就是配置环境变量了，我们将环境变量配置在/etc/profile中，这样就可以为所有用户配置JDK环境了。

       打开/etc/profile文件：

图4. 3修改profile文件

       在文件的末尾加上环境变量的配置：

              export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_171

              export JRE_HOME=${JAVA_HOME}/jre   

              export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib   

              export PATH=${JAVA_HOME}/bin:$PATH

图4. 4 末尾加上Java环境变量

       使用source /etc/profile来是配置生效。

图4. 5使配置生效

使用java -version来查看环境变量是否生效。