大数据工程实践v1.0版本 | （一）环境搭建 (1) | 统一配置hadoop3.1.3完全分布式集群三个节点

1. 运行环境

2. 各节点角色分配

服务名称	子服务	服务器	服务器	服务器
		hadoop101	hadoop102	hadoop103
HDFS	NameNode	√
	DataNode	√	√	√
	SecondaryNameNode			√
Yarn	NodeManager	√	√	√
	ResourceManager		√

3. 集群配置清单

以下配置文件均在hadoop根目录下的 /etc/hadoop/ 内

配置文件	作用描述
hadoop-env.sh	配置hadoop运行所需的JDK环境变量
hdfs-site.xml	配置HDFS中NameNode和DataNode的保存目录，以及后者的存储块副本数
mapred-site.xml	配置mapreduce的运行框架，默认为local
yarn-site.xml	指定yarn的ResourceManager节点，设置yarn运行的日志保存目录及保存时间
core-site.xml	设置hadoop缓存目录以及默认的HDFS地址
workers	设置集群里所有节点的主机名

4. 具体配置

---

4.1 hadoop-env.sh

export JAVA_HOME=/opt/java/jdk8

4.2 hdfs-site.xml

<configuration>
    <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:/opt/module/hadoop/namenode_dir</value>
    </property>

    <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:/opt/module/hadoop/datanode_dir</value>
    </property>
    <!-- NameNode Web端访问地址 -->
    <property>
            <name>dfs.namenode.http-address</name>
            <value>hadoop101:9870</value>
    </property>
    <!-- SecondaryNameNode Web端访问地址 -->
    <property>
            <name>dfs.namenode.secondary.http-address</name>