配置文件整理

最新推荐文章于 2024-03-18 17:53:34 发布

博客写的好晚上睡得早

最新推荐文章于 2024-03-18 17:53:34 发布

阅读量147

点赞数

分类专栏： Hadoop

本文链接：https://blog.csdn.net/weixin_44478494/article/details/89953954

版权

本文主要整理了Hadoop集群的配置文件，包括hdfs-site.xml、core-site.xml、yarn-site.xml和mapred-site.xml。内容涵盖存储路径、通用配置与特定配置，尤其强调了在namenode和datanode节点的hostname配置。

摘要由CSDN通过智能技术生成

1 Hadoop

存储路径：/opt/module/hadoop-2.7.2/etc/hadoop
个人整理
通用配置是在部署hadoop环境中必须配置内容。
特定配置是指在运行hadoop过程中为了实现某一具体功能而设置的配置。

1.1 hdfs-site.xml

<!--指定HDFS副本的数量-->
<property>
     <name>dfs.replication</name>
     <value>1</value>                      //系统默认为3,3副本时不需要配置
</property>

<!--指定secondarynamenode位置-->
<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hadoop04:50090</value>         //hadoop04为节点hostname可更改
</property>

1.2 core-site.xml

<!--指定HDFS中NameNode的地址-->
<property>
       <name>fs.defaultFS</name>
       <value>hdfs://hadoop01:9000</value>           //hadoop01为节点hostname可更改
</property>