HDFS完全分布式集群搭建与配置及常见问题总结

目录

1 配置hdfs完全分布式集群步骤详解

1.2 配置前的准备工作

1.3配置环境变量

1.3.1 配置HADOOP_HOME环境变量

1.3.2  配置hadoop-env.sh环境变量

1.3.3 配置yarn-env.sh环境变量

1.3.4 配置core-site.xml环境变量

1.3.5 配置hdfs-site.xml环境变量

1.3.6 配置mapred-site.xml 环境变量

1.3.7 配置yarn-site.xml环境变量

1.3.8 slaves

1.3.9 同步配置信息

1.3.10 配置环境变量

2.启用HDFS集群

 2.1上传文件测试

3.HDFS搭建时遇到的常见问题总结

---

1 配置hdfs完全分布式集群步骤详解

1. 1查看配置前需要的当前已有环境

①网络配置

先ping外网，三个虚拟机都ping一遍最好

代码： ping baidu.com(ctrl+c停止)

②主机名配置

cat /etc/hostnam

e 也是三台虚拟机都检查一遍

③主机域名映射

检查每台虚拟机的主机名称和映射是否对照

cat /etc/hosts

④防火墙和selinux关闭

systemctl status firewalld

如果程序显示中有dead这个单词，那么防火墙就是关闭的。

⑤ssh免密

ssh node01

⑥查看java jdk 的安装情况

完成这六项，我们就可以进行创建安装目录这个操作了。

1.2 配置前的准备工作

①检查1.1是否配置成功

②创建安装需要的目录

cd /opt
mkdir software
cd software/
mkdir hadoop
cd hadoop/
mkdir hdfs
cd /hdfs
mkdir tmp
mkdir name
mkdir data

pwd

·返回hadoop，上传压缩包：hadoop-2.9.2.tar.gz

代码：cd .. 即可回到上一目录hadoop中。

然后找到下好的hadoop-2.9.2.tar.gz文件，拖拽到虚拟机里，即会自动上传。

        如果出现乱码/火星文，删除重新上传就可以了。

        上传文件需等待几秒，如网速不好，时间会延长。

        366447449是hadoop-2.9.2.tar.gz的正常大小。