Pseudo-Distributed的Hadoop环境搭建

注：

1.笔者之后在Deepin16 OS也进行过配置，结果也可以配置成功。
2.出现错误时请查看相关log文件，会节省很多时间。

重要：

JDK版本请下载JDK8，笔者测试，JDK13配置后无法启动YARN进程，或者进程闪退。

操作环境

1.1 操作系统：Ubuntu 18.04 LTS
1.2 虚拟机：VMware Workstation Pro 14.00

所需安装包及地址

2.1 Ubuntu Server镜像：ubuntu-18.04.3-live-server-amd64.iso
下载地址：
https://ubuntu.com/download/server/thank-you?country=CN&version=18.04.3&architecture=amd64
2.2 Java:jdk-13_linux-x64_bin.tar.gz
下载地址：
https://www.oracle.com/technetwork/java/javase/downloads/jdk13- downloads-5672538.html
2.3 hadoop:Hadoop-3.2.1.tar.gz
下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/

JDK安装

3.1创建Java目标路径文件夹

3.2解压下载好的jdk文件至3.1的路径文件夹

3.3 配置环境变量命令

在*.bashrc文件末尾添加以下内容，保存并退出

3.4使环境变量生效

3.5 配置所有用户的环境变量

在*profile文件末尾添加以下内容

输入以下命令使其生效

3.6 检查java环境是否配置成功

SSH安装与配置

4.1 输入安装SSH命令

如果出现无此安装包情况需进入软件和更新更改服务器

4.2 设置SSH免验证登陆，避免使用hadoop时的权限问题

密码输入为空

之后输入以下命令

Hadoop安装

5.1 解压hadoop文件至指定目录

5.2 定位到解压目录，并将文件夹名改为Hadoop

5.3 修改文件权限

5.4 验证安装是否成功

修改配置文件

6.1修改core-site.xml

在文件里添加以下内容

6.2修改hdfs-site.xml文件

在文件内容里添加以下内容

6.4 修改java环境变量

将之前的JAVA_HOME更改为jdk安装位置

6.5执行NameNode格式化：

出现此界面表示格式化完成

6.6开启NameNode与DataNode守护进程

打开浏览器输入http://localhost:9870/，浏览NameNode的web界面

6.7 设置HDFS目录用来执行MapReduce jobs:

6.8将input文件复制到文件系统

6.9运行例程

6.9测试输出文件，即将输出文件从分布式文件系统复制到本地文件系统

6.10 结束守护进程

YARN在单一结点的设置

7.1 配置mapred-site.xml文件

在文件中输入以下内容

7.2 配置yarn-site.xml文件

在文件内输入以下内容：

7.3开启ResourceManager和NodeManager守护进程

7.4 在浏览器输入http://localhost:8088/打开web界面无法连接

在/usr/local/Hadoop/logs中查看hadoop-steven-resourcemanager-master.log发现error:

分析原因得jdk13默认禁用了相关javax.*API，解决方法，更换jdk8

解压缩jdk8,并配置环境变量(步骤3.2-3.6)

修改yarn-env.sh文件

7.5再次打开http://localhost:8088，打开成功

7.6 jps查看：

启动成功

7.7 关闭yarn守护进程：