目的
可以快速使用Hadoop的MapReduce和HDFS执行某些操作,主要用于学习的目的。
先决条件
环境信息
- 操作系统:deepin 20.9 社区版
- 内核:5.18.17-amd64-desktop-hwe
- Hadoop版本:Apache Hadoop 3.3.6
- Java版本:java version "11.0.21" 2023-10-17 LTS
安装必要的软件
$ sudo apt-get install ssh
$ sudo apt-get install pdsh
pdsh是一个多线程并发在远程服务器上执行命令的shell客户端。项目地址:https://github.com/chaos/pdsh。
Hadoop安装
下载Hadoop:Apache Download Mirrors。下载完成后解压至本地的目录。在解压后的目录中,编辑etc/hadoop/hadoop-env.sh文件,增加JAVA_HOME环境变量定义。如下:
# set to the root of your Java installation
export JAV