HDFS完全分布式集群搭建与配置及常见问题总结

 

目录

​编辑

1 准备三台虚拟机并打开

 2在Xshell上检查三台虚拟机的配置

2.1检查能否连接外网

2.2检查是否配置主机名称

2.3检查主机域名的映射

2.4检查是否关闭防火墙

2.5检查是否能够免密登录

2.6 检查是否安装JDK

3集群搭建与配置

3.1 安装目录

3.1.1 具体操作

3.1.2 常见问题及解决办法

3.2 配置环境变量

3.1.1 具体操作

3.1.2 常见问题及解决办法

3.3配置分布式集群环境

3.3.1  hadoop-env.sh

3.3.2yarn-env.sh

3.3.3  core-site.xml

3.3.4  hdfs-site.xml

3.3.5mapred-site.xml

3.3.6 yarn-site.xml

3.3.7slaves

3.4 分发Hadoop集群配置文件

3.4.1  具体操作

3.4.2 常见问题及解决办法

3.5 二次配置环境变量

4 启动Hadoop集群

4.1格式化

4.1.1  具体操作

4.1.2 常见问题及解决办法

4.2启动集群

4.1.1  具体操作

4.1.2 常见问题及解决办法

4.3查看集群是否启动成功

4.4 访问Web端口

4.5上传文件测试

---

1 准备三台虚拟机并打开

node01:

 

node02:

 

node03:

 2在Xshell上检查三台虚拟机的配置

2.1检查能否连接外网

代码：ping baidu.com（Ctrl+C结束进程）

node01:

 

node02:

 

node03:

 

2.2检查是否配置主机名称

在/etc/hostname文件下检查

代码：cat /etc/hostname

node01:

 

node02:

 

node03:

 

2.3检查主机域名的映射

一共有三个：IP地址、主机名称、映射地址

代码：cat /etc/hosts

node01:

 

node02:

 

node03:

 

 

2.4检查是否关闭防火墙

显示灰色和dead字样即为关闭

代码：systemctl status firewalld

node01:

 

node02:

 

node03:

 

2.5检查是否能够免密登录

在node01上检查能否登陆上node01、node02和node03

ssh node01
ssh node02
ssh node03

 

2.6 检查是否安装JDK

代码：java –version

node01:

 

node02:

 

node03:

 

3集群搭建与配置

3.1 安装目录

在node01中进行