大数据入门系列 4：全网最全，伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤及易错点分析_ubuntu下安装hadop

一、创建 Ubuntu 用户

关于创建 Ubuntu 用户的内容这里不做详细叙述了，需要的同学请参考我之前的文章：《Ubuntu 答疑：Ubuntu 添加和删除用户具体步骤及进程被占用的解决方式》。

二、安装 Java

对于 Ubuntu 本身，系统可能已经预装了Java，它的 JDK 版本类型为 openjdk，路径为"/usr/lib/jvm/default-java"，之后配置 JAVA_HOME 环境变量我们可设置为该值，具体位置如下图所示：

Apache Hadoop 的 2.7 版和更高版本需要 Java 7。它是在 OpenJDK 和 Oracle（HotSpot）的 JDK / JRE 上构建和测试的。早期版本（2.6 和更早版本）支持 Java 6。

2.1、查看本地 Java 版本

我们输入 java -version 查看本地 jdk 版本号，没安装的话输入同样指令，可以根据提示下载需要版本，具体如下图所示：

2.2、验证 Java 在本地的配置情况

输入 javac，显示命令参数列表，说明配置成功，不显示请根据提示安装，具体如下图所示：

三、安装 ssh 服务

需要具体安装 SSH 无密码登陆参考的同学可以看我之前的文章： 《ssh 配置原理：在 Linux 中 ssh 配置无密码登陆完整步骤以及易错点分析》。

对于 Hadoop 的伪分布式和全分布式而言，Hadoop 的名称节点（NameNode）需要启动集群中所有机器的 Hadoop 的守护进程，这个过程可以通过 SSH 登陆来实现。Hadoop 并没有提供 SSH 输入密码登陆的形式，因此为了能够顺利登陆每台机器，需要将所有机器配置为名称节点可以无密码登陆的形式。

3.1、安装 openssh-server

安装 openssh-server，我们在终端输入如下命令：

sudo apt install openssh-server

本人已经安装，具体如下图所示：

3.2、查看 ssh 服务是否启动

我们查看 ssh 服务是否启动，输入如下命令：

sudo ps -e|grep ssh

回车，有 sshd，说明 ssh 服务已经启动，具体如下图所示：

如果没有启动，输入sudo service ssh start，回车，ssh 服务就会启动。

四、Hadoop 伪分布式安装

伪分布式安装是指在一台机器上模拟一个小的集群，但是集群只有一个节点。

4.1、Hadoop 下载

在 Linux 系统/Ubuntu 上打开自带火狐浏览器，输入地址 https://hadoop.apache.org/，打开 Hadoop 的页面，点击 Download 进行下载，具体如下图所示：

我们选择所需版本的 binary 链接，进入，具体如下图所示：

点击第一个镜像链接，进入下载页面，具体如下图所示：

4.2、进入下载安装包的目录

进入下载安装包的目录，输入如下命令：

cd /home/bailu/下载

这里根据自己目录输入，我的如下图所示：

4.3、Hadoop 解压

对下载的 Hadoop 压缩包执行解压，输入命令如下：

sudo tar -zxvf hadoop-3.2.1.tar.gz

4.3.1、解压命令 tar zxvf 中 zxvf 分别是什么意思？

• x : 从 tar 包中把文件提取出来。
• z : 表示 tar 包是被 gzip 压缩过的，所以解压时需要用 gunzip 解压。
• v : 显示详细信息。
• f xxx.tar.gz : 指定被处理的文件是 xxx.tar.gz。

4.3.2、查看 Hadoop 解压后目录文件

输入 ll 查看下载目录下的文件和目录，会看到多了一个目录 hadoop-3.2.1，这是安装包解压后的目录，具体如下图所示：

4.3.3、转移 Hadoop 安装路径

在下载目录下输入如下命令，将 hadoop-3.2.1 目录转移到 usr/local/hadoop 中：

sudo mv hadoop-3.2.1 /usr/local/hadoop

目标文件夹，具体如下图所示：

4.4、检查 Hadoop 目录所有者权限

我们进入 Hadoop目录，可能会发现文件带锁，输入 ll 查看所有者不是本人，具体如下图所示：

4.5、修改 Hadoop 目录所有者权限

这时我们就需要将 Hadoop 目录的所有者更改，根目录输入如下命令：

sudo chown bailu:bailu -R /usr/local/hadoop

具体如下图所示：

修改之后我们可以看到所有者已经更改，具体如下图所示：

4.6、查看 Hadoop 目录结构

根目录输入 cd /usr/local/hadoop 进入 Hadoop 目录，输入 ll 查看 Hadoop 下目录结构，具体如下图所示：

4.7、Hadoop 约定目录结构分析

• bin：Hadoop 最基本的管理脚本和使用脚本所在目录，这些脚本是 sbin 目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用 Hadoop。
• etc：Hadoop 配置文件所在目录，包括 core-site.xml，hdfs-site.xml，mapred-site.xml 等从 hadoop 1.0 继承而来的配置文件和 yarn-site.xml 等 hadoop 2.0 新增的配置文件。
• include：对外提供的编程库头文件（具体动态库和静态库在 lib 目录中），这些头文件均是用 c++ 定义的，通常用于 c++ 程序访问 hdfs 或者编写 mapreduce 程序。
• lib：该目录包含了 Hadoop 对外提供的的编程动态库和静态库，与 include 目录中的头文件结合使用。
• libexec：各个服务对应的 shell 配置文件所在目录，可用于配置日志输出目录，启动参数（比如 JVM 参数）等基本信息。
• sbin：Hadoop 管理脚本所在目录，主要包含 HDFS 和 YARN 中各类服务的启动/关闭脚本。
• share：Hadoop 各个模块编译后的 jar 包所在目录。

4.8、Hadoop 中的配置文件分析

文件名称	格式	描述
hadoop-env.sh	Bash 脚本	记录配置 Hadoop 运行所需的环境变量，以运行 Hadoop
core-site.xml	Hadoop 配置 XML	Hadoop core 的配置项，如 HDFS 和 MapReduce 常用的 I/O 设置等
hdfs-site.xml	Hadoop 配置 XML	Hadoop 守护进程的配置项，包括 NameNode、Secondary NameNode 和 DataNode 等
mapred-site.xml	Hadoop 配置 XML	MapReduce 守护进程的配置项，包括 JobTracker 和 TaskTracker
masters	纯文本	运行 SecondaryNameNode 的机器列表（每行一个）
slaves	纯文本	运行 DataNode 和 TaskTracker 的机器列表（每行一个）
hadoop-metrics.properties	Java 属性	控制 metrics 在 Hadoop 上如何发布的属性

4.9、设置 Hadoop 环境变量

接下来我们需要设置 Hadoop 环境变量，编辑 ~/.bashrc，任意目录下输入如下命令：

sudo gedit ~/.bashrc

具体如下图所示：

让环境变量立即生效，输入命令： source ~/.bashrc，具体如下图所示：

五、准备启动 Hadoop 集群

5.1、启动 Hadoop 集群的准备工作

在任意目录下输入如下命令：

sudo gedit /usr/local/hadoop/hadoop-3.2.1/etc/hadoop/hadoop-env.sh

编辑 etc/hadoop/hadoop-env.sh 以定义一些参数，将原文本文件中的 JAVA_HOME 设置成真实的 JDK 地址，具体如下所示：

  ＃设置为 Java 安装的根目录
  export JAVA_HOME =/usr/java/latest

5.2、Hadoop 脚本的用法文档

尝试以下命令：Hadoop 根目录下输入 bin/hadoop 这将显示 Hadoop 脚本的用法文档，具体如下图所示：

5.3、查看 Hadoop 的版本信息

这时我们可以查看 Hadoop 的版本信息，输入如下命令：

 ./bin/hadoop version

具体如下图所示：

六、伪分布式操作

6.1、修改配置文件

对于伪分布式，仅需修改 core-site.xml、hdfs-site.xml 文件，详细修改如下。

对于 etc/hadoop/core-site.xml，输入命令如下：

sudo gedit /usr/local/hadoop/hadoop-3.2.1/etc/hadoop/core-site.xml

修改之后如下图所示：

说明：

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

e,x_16#pic_center)
说明：

[外链图片转存中…(img-3YFUtHJ0-1714295085819)]
[外链图片转存中…(img-BZZvD8Ea-1714295085820)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！