集群配置
在前几章节的配置完成后,102 103 104服务器都具有了相同的内容框架和配置,能够通过手动免密进行访问,但是不知道有没有发现,他们相互之间还会没有联系的。
本章节我们就需要连接各个服务器
- 集群部署规划
NameNode 和 SecondaryNameNode 不要安装在同一台服务器
ResourceManager 也很消耗内存,不要和 NameNode、SecondaryNameNode 配置在
同一台机器上。
- 配置文件
Hadoop 配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认
配置值时,才需要修改自定义配置文件,更改相应属性值。
(2)自定义配置文件:
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在
$HADOOP_HOME/etc/hadoop 这个路径上,用户可以根据项目需求重新进行修改配置。
- 配置集群
- 核心配置文件
这里我们需要更改4个自定义配置文件,加入内容
这里我们做个分辨一下,
有default字段的文件名为hadoop官网提供的默认配置文件
有site字段的文件为自定义配置文件,供操作人员根据自身的需求进行更改
配置 core-site.xml
指引路径:/opt/module/hadoop-3.1.3/etc/hadoop/
(不要硬复制进去,只是告诉你大概路径)
以102为例
默认配置文件提供的关于NameNode的默认地址:
File:/// ——本地路径
数据存放目录
根据上面的列表可得治,102服务器上的NameNode需要配置102服务器上,修改如下:
<!-- 指定 NameNode 的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop102:8020</value>
</property>
<!-- 指定 hadoop 数据的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.1.3/data</value>
</property>
HDFS 配置文件
默认文件提供的外部NameNode web 访问地址: