Hadoop伪分布部署

Author:Christopher_L1n | CSDN Blog | 未经允许，禁止转载

0x00 前言

面向初学者，学习这么一庞大的生态圈，我个人认为是从小处入手，先能跑起来再谈其他的事，本文中出现的hadoop配置选项很少，只是为了以最快的方式搭建起来一个伪分布部署，以便进一步的学习。本文不是去探究每一项配置、每个操作的具体意义，当然我也会尽可能说明，但有些理解不深或记忆模糊的，就请自行探索，我就不误人子弟了。本文是此前我尝试部署服务时踩坑总结出的一些经验，仅供参考。
在这里我大胆假设各位读者懂得Linux的命令和Hadoop的用途，不过多赘述。

0x01 系统准备

• 系统：Centos 8
• JAVA：JDK1.8
• Hadoop：3.2.1

本文推荐使用VPS：Vultr。不在此赘述如何部署VPS。

0x02 添加用户

在部署VPS，或者搭建虚拟机后，应添加一个系统用户用于部署hadoop，此处添加一个csdn用户（在root下创建）：

# 若操作更规范些，则应添加组、home路径等，此处忽略
useradd csdn
# 配置密码
passwd csdn
# 输入密码
# 由于之后的操作需要csdn用户有sudo权限，因此还需要配置sudoer
vi /etc/sudoers

在任意空行添加一行（建议添加在类似内容的行的下方）：

键盘摁下ESC，再摁o，输入：

csdn ALL=(ALL) ALL

摁下ESC，再输入:wq保存。
随后切换用户：

su - csdn

此后若未显式说明，均视作在csdn用户下进行操作。

0x03 安装JAVA

安装JAVA的过程不多赘述，步骤为：

• 登录Oracle官网，选择JDK 1.8下载；
• 将JDK上传至服务器。或在登录后复制下载链接，在服务器使用wget下载，由于目前需要登录才能下载，每个人的认证参数不同，因此给出链接也无效，请自行探索。
  为了能够进一步学习，便安装的JDK。如果是为了生产部署，只安装JRE也是可以的。

简便安装的方法（生产不推荐，请自行找到一个合适的稳定版本下载）：

sudo yum update
sudo yum install java-1.8.0-openjdk.x86_64

安装完成后，通过以下命令验证安装成功与否：

java -version
javac -version

若javac报错提示无此命令，可通过以下方式解决：

# 1 排查是否存在tools.jar，可能是安装不完全导致的，具体步骤回忆不清，自行搜索unpack tools.pack，怕误人子弟，不献丑。
# 2 比较简单的方式是直接安装java-devel
sudo yum install java-devel

0x04 安装Hadoop

本文使用hadoop当前最新版本：3.2.1（生产不推荐，请自行找到合适的稳定版本，Hadoop官网下载页）。

wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

下载完成后，开始安装：

tar -zxvf hadoop-3.2.1.tar.gz
# 移动到一个合适的路径
sudo mv hadoop-3.2.1 /usr/local/hadoop
# 赋予权限，此处不确定为合适的权限，请自行探索
sudo chmod -R 770 /usr/local/hadoop
# 将/usr/local/hadoop 目录及其下所有子目录、子文件的归属者都改为csdn所有
sudo chown csdn:csdn -R /usr/local/hadoop

0x05 安装openssh及配置免密登录

确认ssh是否安装：