hadoop:集群配置

一、端口号

 

二、配置文件说明

主要路径

1.core-site.xml

        指定NameNode的地址 hdfs://hadoop102:8020

        指定hadoop数据的存储目录 /opt/module/hadoop-3.1.3/data

2.hdfs-site.xml

        nn web端访问地址 hadoop102:9870

        2nn web端访问地址 hadoop104:9868

1.Web端查看HDFS的NameNode
①浏览器中输入：http://hadoop102:9870
        ②查看HDFS上存储的数据信息      
2.Web端查看YARN的ResourceManager
①浏览器中输入：http://hadoop103:8088
    ②查看YARN上运行的Job信息

3.查看JobHistory：历史服务器
http://hadoop102:19888/jobhistory

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置。

 cd $HADOOP_HOME/etc/hadoop