Centos7环境下，配置Hadoop-3.2.1伪分布式以及问题处理

Centos7环境下，配置Hadoop-3.2.1伪分布式以及问题处理
主要分为一下几个步骤：

1. 安装jdk（原因下面请看）；
2. 修改host配置；
3. 关闭防火墙；
4. 安装hadoop；
5. 配置 Hadoop 伪分布式；
6. 启动hdfs；

准备工作

关闭防火墙

#停止防火墙
systemctl stop firewalld
#关闭防火墙开机自动启动
systemctl disable firewalld

修改hosts文件，配置用户指定本机IP地址

例如;192.168.1.1   hadoop

Hadoop的用户设置

1、 创建hadoop的普通用户

useradd hadoop
passwd hadoop

2、 给hadoop用户sudo权限

vi /etc/sudoers

设置权限（非生产环境可以随意点）

root ALL=(ALL) ALL
hadoop ALL=(root) NOPASSWD:ALL

3、 切换到hadoop用户
su - hadoop

4、 创建存放hadoop文件的目录

sudo mkdir /opt/modules

5、 将hadoop文件夹的所有者指定为hadoop用户

如果存放hadoop的目录的所有者不是hadoop，之后hadoop运行中可能会有权限问题。

sudo chown -R hadoop:hadoop /opt/modules

配置ssh免密登录
自行百度即可

安装JDK

通过yum search jdk

![在这里插入图片描述](https://img-blog.csdnimg.cn/20201202150843364.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZscXhpbmc=,size_16,color_FFFFFF,t_70)

必须安装这两个，因为缺少一个在后面使用命令时无法使用

# 配置环境变量
vim /etc/profile

# JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-11.0.9.11-0.el7_9.x86_64
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

# 刷新环境变量
source /etc/profile

# 验证
java -version

```java
openjdk version "11.0.9" 2020-10-20 LTS
OpenJDK Runtime Environment 18.9 (build 11.0.9+11-LTS)
OpenJDK 64-Bit Server VM 18.9 (build 11.0.9+11-LTS, mixed mode, sharing)

安装Hadoop
#下载hadoop-3.2.1.tar.gz

# 解压
tar -zxvf /usr/local/hadoop-3.2.1.tar.gz 

# 配置环境变量
vim /etc/profile

# HADOOP_HOME
export HADOOP_HOME=/opt/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME