hadoop中hdfs-site.xml的一些相关设置解释

本文链接：https://blog.csdn.net/qq_45962183/article/details/111996291

本文详细介绍了Hadoop集群的配置优化，包括副本数量设定为3，辅助NameNode在hadoop003上运行，关闭权限检查以简化操作，启用DFSClient的本地读取功能，配置数据读取的超时时间和优化数据块元数据获取，以及调整Datanode和DFSClient之间的通信路径，以提升数据读取性能并减少IO竞争。同时，还涉及了并行RPC调用的超时时间和开启数据块元数据功能，以进一步优化读取效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

 Unless required by applicable law or agreed to in writing, software
<!--副本数量-->
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
<!--secondarynamenode辅助namenode工作，指定要在hadoop003上启动该进程-->
        <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop003:50090</value>
    </property>
<!--secondarynamenode辅助namenode工作，指定要在hadoop003上启动该进程-->
        <property>
        <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop003:50090</value>
    </property>
        <property>
                <name>dfs.permissions.enable</name>
                <value>false</value>
        </property>
<!--开启DFSClient本地读取数据的功能-->
<property>
                <name>dfs.client.read.shortcircuit</name>
                <value>true</value>
        </property>
<!--是Datanode和DFSClient之间通信的Socket的本地路径-->
        <property>
                <name>dfs.domain.socket.path</name>
                <value>/opt/module/hadoop-2.7.2/hdfs-sockets/dn</value>
        </property>
<!--前两个用于优化hdfs的数据读取-->
<!--默认1000，并行RPC（远程过程调用）调用分布式文件系统的超时时间-->
        <property>
                <name>dfs.client.file-block-storage-locations.timeout.millis</name>
                <value>10000</value>
        </property>
<!--默认false,设置true可知道每个block所在磁盘，在调度cpu资源时让不同的cpu读不同的磁盘
，避免查询内和查询间的IO竞争。这属于优化的一种。-->
        <property>
                <name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
                <value>true</value>
        </property>
</configuration>