Hadoop中常用端口说明和相关配置文件

广阔天地大有可为

已于 2023-03-28 15:40:58 修改

阅读量2.2k

点赞数 1

分类专栏： HDFS 文章标签： hadoop hdfs 大数据

于 2023-03-28 15:31:16 首次发布

本文链接：https://blog.csdn.net/weixin_42845827/article/details/129806687

版权

HDFS 专栏收录该内容

5 篇文章 1 订阅

订阅专栏

1. Hadoop中常用端口说明

端口名称	Hadoop2.x	Hadoop3.x	端口配置
NameNode服务所在服务器的IP和端口号	8020 / 9000	8020 / 9000/9820	core-site.xml <property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:8020</value> </property>
HDFS Web UI 的IP和端口号	50070	9870	hdfs-site.xml <property> <name>dfs.namenode.http-address</name> <value>hadoop01:9870</value> </property>
Yarn Web UI 的IP和端口号	8088	8088	yarn-site.xml <property> <name>yarn.resourcemanager.webapp.address</name> <value>RM_IP:8088</value> </property> tips：RM_IP = ${yarn.resourcemanager.hostname}
数据传输的datanode服务器地址和端口	9866	9866	hdfs-site.xml <property> <name>dfs.datanode.address</name> <value>0.0.0.0:9866</value> </property>

2. Hadoop中常用配置文件说明

2.1 配置文件分类

Hadoop中配置文件分两类: 默认配置文件 、自定义配置文件

tips: 用户想修改默认值配置时，只需要在自定义文件中修改相应配置项即可(不指定时，使用默认配置)

2.2 默认配置文件

方式1: 从官网查看默认配置项

官网连接：传送门

方式2: 从 hadoop安装包内查看

默认配置文件名称	默认配置文件所在的位置
core-default.xml	$HADOOP_HOME/share/hadoop/common/hadoop-common-3.2.3.jar/core-default.xml
hdfs-default.xml	$HADOOP_HOME/share/hadoop/hdfs/hadoop-hdfs-3.2.3.jar/hdfs-default.xml
yarn-default.xml	$HADOOP_HOME/share/hadoop/yarn/hadoop-yarn-common-3.2.3.jar/yarn-default.xml
mapred-default.xml	$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-3.2.3.jar/mapred-default.xml

2.3 自定义配置文件

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在 $HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置

core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- 指定 NameNode服务 所在服务器的IP和端口号
         用来访问HDFS的 链接
    -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://worker:8020</value>
    </property>

    <!-- 指定 hadoop 数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/software/hadoop-3.2.3/data</value>
    </property>
    
    <!-- 配置 HDFS 网页登录使用的静态用户为 worker01 -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>worker01</value>
    </property>
</configuration>

hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- 指定 namenode web ui IP和端口-->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>worker01:9870</value>
    </property>

    <!-- 指定 secondary namenode web ui IP和端口-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>worker02:9868</value>
    </property>

    <!-- 指定 默认副本数(不指定时，默认为3)
         tips: 创建文件时，可以指定文件的副本个数，如果没有指定，则使用这个默认值
    -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <!-- 客户端连接datanode时是否使用datanode主机名(默认值:false)-->
    <property>
        <name>dfs.client.use.datanode.hostname</name>
        <value>true</value>
    </property>

    <!-- 数据传输的datanode服务器地址和端口 -->
    <property>
        <name>dfs.datanode.address</name>
        <value>worker01:9866</value>
    </property>

    <!-- datanode http服务器地址和端口 -->
    <property>
        <name>dfs.datanode.http.address</name>
        <value>worker01:9864</value>
    </property>

</configuration>

yarn-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- 指定 MR 走 shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定 ResourceManager服务 的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>worker01</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>
            JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
        </value>
    </property>

</configuration>

mapred-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- 指定 MapReduce 程序运行在 Yarn 上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    
</configuration>