Hadoop完全分布式搭建

集群配置

可以将服务分别去配置在多台服务器上面以hadoop105，hadoop106，Hadoop107为案例

组件	hadoop105	hadoop106	hadoop107
HDFS	NameNode、DataNode	DataNode	SecondaryNameNode、DataNode
YARN	NodeManager	ResourceManager、NodeManager	NodeManager

NAMENODE职责

NAMENODE职责：

负责客户端请求的响应

元数据的管理（查询，修改）

是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。

SecondaryNameNode

从NameNode上下载元数据信息（fsimage,edits），然后把二者合并，生成新的fsimage，在本地保存，并将其推送到NameNode，替换旧的fsimage.
默认在安装在NameNode节点上，但这样…不安全！

DATANODE

存储管理用户的文件块数据

定期向namenode汇报自身所持有的block信息（通过心跳信息上报）

（这点很重要，因为，当集群中发生某些block副本失效时，集群如何恢复block初始副本数量的问题）

注意：

• NameNode 和 SecondaryNameNode 不要安装在同一台服务器。
• ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在同一台机器上。

需要配置4个配置文件

要获取的默认文件	文件存放在Hadoop的jar包中的位置	解释说明
core-default.xml	hadoop-common-3.1.3.jar/core-default.xml	Hadoop的全局配置文件，配置分布式文件系统的入口地址NameNode的地址和分布式文件系统中数据落地到服务器本地磁盘位置的配置。配置 HDFS 网页登录使用的静态用户
[hdfs-default.xml]	hadoop-hdfs-3.1.3.jar/hdfs-default.xml	配置HDFS文件系统属性配置。nn web 端访问地址，2nn web 端访问地址
[yarn-default.xml]	hadoop-yarn-common-3.1.3.jar/yarn-default.xml	配置YARN的相关参数
[mapred-default.xml]	hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml	MapReduce的运行框架为YARN.

配置文件的路径

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml
四个配置文件存放在$HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。
案例路径：
/opt/module/hadoop-3.1.3/etc/hadoop

配置 core-site.xml

[tedu@hadoop105 hadoop]$sudo vim /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

<!-- 指定 NameNode 的地址 -->     
    <property>         
        <name>fs.defaultFS</name>         
        <value>hdfs://hadoop105:8020</value>     
    </property>
 <!-- 指定 hadoop 数据的存储目录 -->     
    <property>         
        <name>hadoop.tmp.dir</name>         
        <value>/opt/module/hadoop-3.1.3/data</value>     
    </property> 
 
    <!-- 配置 HDFS 网页登录使用的静态用户为 tedu -->     
    <property>