搭建单节点Hadoop集群

目的

可以快速使用Hadoop的MapReduce和HDFS执行某些操作，主要用于学习的目的。

先决条件

环境信息

• 操作系统：deepin 20.9 社区版
• 内核：5.18.17-amd64-desktop-hwe
• Hadoop版本：Apache Hadoop 3.3.6
• Java版本：java version "11.0.21" 2023-10-17 LTS

安装必要的软件

$ sudo apt-get install ssh
$ sudo apt-get install pdsh

pdsh是一个多线程并发在远程服务器上执行命令的shell客户端。项目地址：https://github.com/chaos/pdsh。

Hadoop安装

下载Hadoop：Apache Download Mirrors。下载完成后解压至本地的目录。在解压后的目录中，编辑etc/hadoop/hadoop-env.sh文件，增加JAVA_HOME环境变量定义。如下：

# set to the root of your Java installation
export JAV