云服务器搭建 hadoop集群(全过程详解&解决碰到的问题)

该hadoop集群
采用三台真实的部署在公网的服务器(系统为centos)进行分布式搭建。（两台腾讯云，一台阿里云）
过程中遇到问题可以翻到最下方，或者评论区留言。

先建立ip映射，由于是云端服务器，则直接使用真实的公网ip。每台服务器内均配置此文件。

vim /etc/host

（ps：对应的服务器对自己操作时最好用自己的内网ip，例如centos01的配置文件：

此处的10.0.16.6为云服务器商提供的内网地址
如果不改可能导致namenode无法启动。因为对内操作要用内网地址。
）

ping一下其他两个设备，发现没有问题。可以-n指定包数，也可以ctrl+c手动终止。

创建两个文件夹，softwares用于存储压缩包。moudules存储解压后的文件（jdk，hadoop）

sudo mkdir /opt/softwares
sudo mkdir /opt/modules

查看全局配置文件（添加环境变量）

vim /etc/profile

配置文件如下（每台服务器内均配置此文件。）

export JAVA_HOME=/opt/modules/jdk1.8.0_241
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

export HADOOP_HOME=/opt/modules/hadoop-2.10.0
export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

先修改centos01配置文件如下

再传给centos02，03
注意：如果如果用的不是hadoop用户记得更改用户名（例如root）

配置文件具体如下：
/opt/modules/hadoop-2.10.0/hadoop 目录下
向hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中 添加jdk环境变量

export JAVA_HOME=/opt/modules/jdk1.8.0_241
export JAVA_HOME=/opt/modules/jdk1.8.0_241

hadoop集群又分为HDFS集群、YARN集群

具体可参考hadoop集群概述，我的另一篇博客。
然后我们分别配置HDFS集群、YARN集群。

配置HDFS集群

core-site.xml

<configuration>
        &l