Centos7环境下,配置Hadoop-3.2.1伪分布式以及问题处理
主要分为一下几个步骤:
- 安装jdk(原因下面请看);
- 修改host配置;
- 关闭防火墙;
- 安装hadoop;
- 配置 Hadoop 伪分布式;
- 启动hdfs;
准备工作
关闭防火墙
#停止防火墙
systemctl stop firewalld
#关闭防火墙开机自动启动
systemctl disable firewalld
修改hosts文件,配置用户指定本机IP地址
例如;192.168.1.1 hadoop
Hadoop的用户设置
1、 创建hadoop的普通用户
useradd hadoop
passwd hadoop
2、 给hadoop用户sudo权限
vi /etc/sudoers
设置权限(非生产环境可以随意点)
root ALL=(ALL) ALL
hadoop ALL=(root) NOPASSWD:ALL
3、 切换到hadoop用户
su - hadoop
4、 创建存放hadoop文件的目录
sudo mkdir /opt/modules
5、 将hadoop文件夹的所有者指定为hadoop用户
如果存放hadoop的目录的所有者不是hadoop,之后hadoop运行中可能会有权限问题。
sudo chown -R hadoop:hadoop /opt/modules
配置ssh免密登录
自行百度即可
安装JDK
通过yum search jdk
![在这里插入图片描述](https://img-blog.csdnimg.cn/20201202150843364.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZscXhpbmc=,size_16,color_FFFFFF,t_70)
必须安装这两个,因为缺少一个在后面使用命令时无法使用
# 配置环境变量
vim /etc/profile
# JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-11.0.9.11-0.el7_9.x86_64
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
# 刷新环境变量
source /etc/profile
# 验证
java -version
```java
openjdk version "11.0.9" 2020-10-20 LTS
OpenJDK Runtime Environment 18.9 (build 11.0.9+11-LTS)
OpenJDK 64-Bit Server VM 18.9 (build 11.0.9+11-LTS, mixed mode, sharing)
安装Hadoop
#下载hadoop-3.2.1.tar.gz
# 解压
tar -zxvf /usr/local/hadoop-3.2.1.tar.gz
# 配置环境变量
vim /etc/profile
# HADOOP_HOME
export HADOOP_HOME=/opt/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME