配置Hadoop分布式集群二（亲测）

最新推荐文章于 2022-02-28 12:36:50 发布

link-ai

最新推荐文章于 2022-02-28 12:36:50 发布

阅读量338

点赞数

分类专栏：大数据安装配置文章标签：分布式 hadoop 集群

本文链接：https://blog.csdn.net/u013894072/article/details/53010430

版权

本文详细介绍了配置Hadoop分布式集群的过程，包括hdfs-site.xml的设置，如dfs.namenode.secondary.http-address、dfs.replication等参数。同时，讲解了mapred-site.xml中mapred.job.tracker的配置，确保在所有master和slave节点上的唯一性。虽然yarn-site.xml的配置尚未深入理解，但已提及其重要性。最后，提到了slaves和masters文件的编辑，以及如何将配置好的Hadoop目录同步到其他节点，并在每个节点的环境变量中配置Hadoop路径。

摘要由CSDN通过智能技术生成

####配置hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>nn1:50090</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/lihao/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/lihao/hdfs/data</value>
    </property> 
</configuration>

其中，dfs.namenode.secondary.http-address是二级namenode节点，在网上看到说实验室可以这么设置，但在实际应用中该值应该设立一个不同的namenode主机地址。
dfs.replication 数据的备份数，默认是三个备份。
dfs.namenode.name.dir和dfs.datanode.data.dir，用于确定将HDFS文件系统的元信息保存在什么目录下和这个参数用于确定将HDFS文件系统的数据保存在什么目录下。
####配