hadoop 四个文件配置

已于 2023-08-16 11:27:25 修改
阅读量89 收藏
点赞数
文章标签： hadoop 大数据 分布式
于 2023-08-14 16:57:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51635590/article/details/132279622
版权 
core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at
    http://www.apache.org/licenses/LICENSE-2.0
  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<!-- Put site-specific property overrides in this file. -->
<configuration>
   <property>
      <name>fs.defaultFS</name><!--定义Hadoop HDFS中 namenode 的URI和端口【必须配置】-->
      <value>hdfs://ns</value>
  </property>
  <property>
      <name>hadoop.tmp.dir</name><!--Hadoop运行时临时的存储目录【必须配置】-->
      <value>file:/opt/apps/hadoop-3.2.2/tmp</value>
  </property>
  <property>
	<name>ha.zookeeper.quorum
	</name>
	<value>node01:2181,node02:2181,node03:2181</value>
</property>
    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>
</configuration>
hadoop-env.sh
export JAVA_HOME=/opt/apps/jdk1.8.0_311
export HADOOP_CONF_DIR=/opt/apps/hadoop-3.2.2/etc/hadoop
hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at
    http://www.apache.org/licenses/LICENSE-2.0
  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<!-- Put site-specific property overrides in this file. -->
<configuration>
	<!-- 绑定在Zookeeper上注册的节点名 -->
	<property>
	    <name>dfs.nameservices</name>
	    <value>ns</value>
	</property>
	<!-- ns集群下有两个namenode，分别为nn1, nn2 -->
	<property>
	    <name>dfs.ha.namenodes.ns</name>
	    <value>nn1,nn2</value>
	</property>
	<!--nn1的RPC通信-->
	<property>
	    <name>dfs.namenode.rpc-address.ns.nn1</name>
	    <value>node01:9000</value>
	</property>
	<!--nn1的http通信-->
	<property>
	    <name>dfs.namenode.http-address.ns.nn1</name>
	    <value>node01:9870</value>
	</property>
	<!-- nn2的RPC通信地址 -->
	<property>
	    <name>dfs.namenode.rpc-address.ns.nn2</name>
	    <value>node02:9000</value>
	</property>
	<!-- nn2的http通信地址 -->
	<property>
	    <name>dfs.namenode.http-address.ns.nn2</name>
	    <value>node02:9870</value>
	</property>
	<!--指定namenode的元数据在JournalNode上存放的位置，这样，namenode2可以从journalnode集群里的指定位置上获取信息，达到热备效果-->
	<property>
	    <name>dfs.namenode.shared.edits.dir</name>
	    <value>qjournal://node01:8485;node02:8485;node03:8485/ns</value>
	</property>
	<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
	<property>
	    <name>dfs.journalnode.edits.dir</name>
	    <value>/opt/apps/hadoop-3.2.2/tmp/journal</value>
	</property>
	<!-- 开启NameNode故障时自动切换 -->
	<property>
	    <name>dfs.ha.automatic-failover.enabled</name>
	    <value>true</value>
	</property>
	<!-- 配置失败自动切换实现方式 -->
	<property>
	    <name>dfs.client.failover.proxy.provider.ns</name>
	    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<!-- 配置隔离机制 -->
	<property>
	    <name>dfs.ha.fencing.methods</name>
	    <value>sshfence</value>
	</property>
	<!-- 使用隔离机制时需要ssh免登陆 -->
	<property>
	    <name>dfs.ha.fencing.ssh.private-key-files</name>
	    <value>/root/.ssh/id_rsa</value>
	</property>
	<!--配置namenode存放元数据的目录，可以不配置，如果不配置则默认放到hadoop.tmp.dir下-->
	<property>    
	    <name>dfs.namenode.name.dir</name>    
	    <value>file:///opt/apps/hadoop-3.2.2/tmp/hdfs/name</value>    
	</property>    
	<!--配置datanode存放元数据的目录，可以不配置，如果不配置则默认放到hadoop.tmp.dir下-->
	<property>    
	    <name>dfs.datanode.data.dir</name>    
	    <value>file:///opt/apps/hadoop-3.2.2/tmp/hdfs/data</value>    
	</property>
	<!--配置副本数量-->    
	<property>    
	    <name>dfs.replication</name>    
	    <value>3</value>    
	</property>   
	<!--设置用户的操作权限，false表示关闭权限验证，任何用户都可以操作-->                                                                    
	<property>    
	    <name>dfs.permissions</name>    
	    <value>false</value>    
	</property>  
</configuration>
yarn-site.xml

<?xml version="1.0"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<configuration>

    <!--配置yarn的高可用-->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <!--指定两个resourcemaneger的名称-->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <!--配置rm1的主机-->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>node01</value>
    </property>
    <!--配置rm2的主机-->
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>node03</value>
    </property>
    <!--开启yarn恢复机制-->
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <!--执行rm恢复机制实现类-->
    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
    <!--配置zookeeper的地址-->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>node01:2181,node02:2181,node03:2181</value>
    </property>
    <!--执行yarn集群的别名-->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>ns-yarn</value>
    </property>
    <!-- 指定nodemanager启动时加载server的方式为shuffle server -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定resourcemanager地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>node03</value>
    </property>
    <!-- 是否启动一个线程检查每个任务正在使用的物理内存,如果任务超出分配量则直接将其杀死 -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <!-- 是否启动一个线程检查每个任务正在使用的虚拟内存,如果任务超出分配量则直接将其杀死 -->
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
	<name>yarn.application.classpath</name>
<value>
/opt/apps/hadoop-3.2.2/etc/hadoop:/opt/apps/hadoop-3.2.2/share/hadoop/common/lib/*:/opt/apps/hadoop-3.2.2/share/hadoop/common/*:/opt/apps/hadoop-3.2.2/share/hadoop/hdfs:/opt/apps/hadoop-3.2.2/share/hadoop/hdfs/lib/*:/opt/apps/hadoop-3.2.2/share/hadoop/hdfs/*:/opt/apps/hadoop-3.2.2/share/hadoop/mapreduce/lib/*:/opt/apps/hadoop-3.2.2/share/hadoop/mapreduce/*:/opt/apps/hadoop-3.2.2/share/hadoop/yarn:/opt/apps/hadoop-3.2.2/share/hadoop/yarn/lib/*:/opt/apps/hadoop-3.2.2/share/hadoop/yarn/*</value>	
</property>
	<property>
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>node01:8088</value>
</property>
<property>
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>node03:8088</value>
</property>

</configuration>

mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <!--在<configuration></configuration>中间添加一下内容-->
  <!--使用yarn运行mapreduce程序【必须配置】-->
  <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
  </property>
  <!--配置历史服务器【暂时不需要配置】-->
  <property><!--MapReduce JobHistory Server地址-->
      <name>mapreduce.jobhistory.address</name>
      <value>node01:10020</value>
  </property>
  <!--MapReduce JobHistory Server Web界面地址-->
  <property>
      <name>mapreduce.jobhistory.webapp.address</name>
      <value>node01:19888</value>
  </property>
  <property>
        <name>mapreduce.application.classpath</name>
<value>/opt/apps/hadoop-3.2.2/etc/hadoop:/opt/apps/hadoop-3.2.2/share/hadoop/common/lib/*:/opt/apps/hadoop-3.2.2/share/hadoop/common/*:/opt/apps/hadoop-3.2.2/share/hadoop/hdfs:/opt/apps/hadoop-3.2.2/share/hadoop/hdfs/lib/*:/opt/apps/hadoop-3.2.2/share/hadoop/hdfs/*:/opt/apps/hadoop-3.2.2/share/hadoop/mapreduce/lib/*:/opt/apps/hadoop-3.2.2/share/hadoop/mapreduce/*:/opt/apps/hadoop-3.2.2/share/hadoop/yarn:/opt/apps/hadoop-3.2.2/share/hadoop/yarn/lib/*:/opt/apps/hadoop-3.2.2/share/hadoop/yarn/*</value>
</property>

</configuration>

yarn-site.xml
<?xml version="1.0"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<configuration>

    <!--配置yarn的高可用-->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <!--指定两个resourcemaneger的名称-->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <!--配置rm1的主机-->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>node01</value>
    </property>
    <!--配置rm2的主机-->
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>node03</value>
    </property>
    <!--开启yarn恢复机制-->
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <!--执行rm恢复机制实现类-->
    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
    <!--配置zookeeper的地址-->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>node01:2181,node02:2181,node03:2181</value>
    </property>
    <!--执行yarn集群的别名-->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>ns-yarn</value>
    </property>
    <!-- 指定nodemanager启动时加载server的方式为shuffle server -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定resourcemanager地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>node03</value>
    </property>
    <!-- 是否启动一个线程检查每个任务正在使用的物理内存,如果任务超出分配量则直接将其杀死 -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <!-- 是否启动一个线程检查每个任务正在使用的虚拟内存,如果任务超出分配量则直接将其杀死 -->
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
	<name>yarn.application.classpath</name>
<value>
/opt/apps/hadoop-3.2.2/etc/hadoop:/opt/apps/hadoop-3.2.2/share/hadoop/common/lib/*:/opt/apps/hadoop-3.2.2/share/hadoop/common/*:/opt/apps/hadoop-3.2.2/share/hadoop/hdfs:/opt/apps/hadoop-3.2.2/share/hadoop/hdfs/lib/*:/opt/apps/hadoop-3.2.2/share/hadoop/hdfs/*:/opt/apps/hadoop-3.2.2/share/hadoop/mapreduce/lib/*:/opt/apps/hadoop-3.2.2/share/hadoop/mapreduce/*:/opt/apps/hadoop-3.2.2/share/hadoop/yarn:/opt/apps/hadoop-3.2.2/share/hadoop/yarn/lib/*:/opt/apps/hadoop-3.2.2/share/hadoop/yarn/*</value>	
</property>
	<property>
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>node01:8088</value>
</property>
<property>
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>node03:8088</value>
</property>

</configuration>




worker
node01
node02
node03
李小小升
关注
Hadoop安装与配置详细教程
王佳斌
04-27 16万+
【确保服务器集群安装和配置已经完成！】 前言 请根据读者的自身情况，进行相应随机应变。 我的三台CentOS7服务器： 主机：master（192.168.56.110） 从机：slave0（192.168.56.111） 从机：slave1（192.168.56.112） 每一个节点的安装与配置是相同的，在实际工作中，通常在master节点上完成安装和配置后，然后将安装目录复制到其他节点就可以，...
Hadoop四个配置文件
ayohe的博客
08-31 2298
Hadoop四个配置文件 1.core-site.xml <configuration> <!--配置namenode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://192.168.174.180:9820</value> </property> <!--配置数据存储目录--> <pr
hadoop四大金刚配置文件
only_rzr的博客
11-05 935
core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master01:9000<alue> </property> <property> <name>
【Hadoop】配置文件
qq_70770395的博客
03-11 1708
hadoop 1.55
Hadoop4个核心配置文件讲解
weixin_38705082的博客
06-26 2019
Hadoop4个核心配置文件core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml配置讲解 1.hdfs-site.xml dfs.replication：设置数据副本的份数 1 dfs.namenode.name.dir：设置namenode目录 /hadoop_data/name dfs.datanode.data.dir ：...
Hadoop相关核心配置文件说明
qq_40348184的博客
03-11 3703
Hadoop相关核心配置文件说明 Hadoop相关核心配置文件说明前言一、core-site.xml二、hdfs-site.xml三、yarn-site.xml四、mapred-site.xml 前言 简单整理一下Hadoop下conf目录下core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml这四个配置文件的配置说明，用作学习。 官方文档 一、core-site.xml 指定NameNode的地址 hadoop3.x默认端口为8020&l
hadoop的四个核心配置文件详解
热门推荐
feiyan的博客
03-22 1万+
https://blog.csdn.net/cuitaixiong/article/details/51591410 hadoop常用端口配置 1.HDFS 端口 参数 描述 默认 配置文件 例子值 fs.default.name namenode RPC交互端口 8020 core-site.xml hdfs://master:8020/ dfs.http.address...
hadoop重要配置文件
xby18772963985的博客
01-20 6916
1） hadoop的默认配置文件(jar包内部) core-default.xml: 默认的核心hadoop属性文件。该配置文件位于下面JAR文件中:Hadoop-common-2.2.0.jar hdfs-default.xml : 默认的HDFS属性配置文件，文件位于下面的JAR文件中：hadoop-hdfs-2.2.0.jar mapred-default.xml : 默认mapreduce属性配置文件，位于mapreduce-client-core-2.2.0.jar yarn
hadoop修改配置文件和环境变量
Rain_2021245488的博客
07-29 4810
我们要修改的就是主要的自定义配置文件。
hadoop3.2核心配置文件
qq_52218442的博客
03-18 966
配置文件说明 　　（1）默认配置文件： 　　（2）自定义配置文件： 　　core-site.xml 、hdfs-site.xml 、yarn-site.xml 、mapred-site.xml 四个配置文件存放在 　　$HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置 　　3 ） 配置 集群 　　（1）核心配置文件(core-site.xml) 　　<configuration> 　　<!-- 指定 NameNode 的地...
hadoop的默认配置文件
08-12
2. **yarn-default.xml**：这个文件包含了YARN的相关配置，YARN是Hadoop的资源管理系统，负责调度计算资源，如内存、CPU。关键参数包括`yarn.nodemanager.resource.memory-mb`（定义每个节点的可用内存）、`yarn....
hadoop四个默认文件
12-19
在Hadoop生态系统中，`core-default.xml`, `hdfs-default.xml`, `mapred-default.xml`, 和 `yarn-default.xml` 这四个文件是至关重要的配置文件，它们定义了Hadoop各个组件的基础设置。这些XML文件提供了系统运行时...
Hadoop默认的配置文件
09-07
在你提到的压缩包文件中，我们能看到四个主要的默认配置文件：`core-default.xml`，`hdfs-default.xml`，`mapred-default.xml`，以及`yarn-default.xml`。下面我们将逐一详细介绍这些文件及其包含的配置项。 首先，...
hadoop2.8.2 的四个配置参数文件
12-26
hadoop2.8.2 的四个配置参数文件,基出centos6.5安装的hadoop,四个配置文件分别是：hdfs-site.xml, mapred-site.xml, core-site.xml, yarn-site.xml,
Hadoop伪分布式搭建配置文件
11-18
5. **slaves**：这个文件仅包含一行，即本地主机名，表示这台机器既是NameNode也是DataNode。 ### 初始化HDFS 执行`hadoop namenode -format`对HDFS进行格式化，这是首次启动Hadoop前的必要步骤。 ### 启动服务 ...
WPF+MVVM案例实战（十九）- 自定义字体图标按钮的封装与实现（EF类）
lingshuangcanxue
11-02 208
各种类型的自定义按钮实现
Hadoop分布式文件系统架构和设计
追赶时代的博客
10-31 347
Hadoop分布式文件系统架构和设计原文献的翻译
C# wpf 如何监控变量值改变?
zls365365的博客
11-01 465
在C# WPF应用程序开发中，监控变量值的改变是一项常见的需求。这可以通过多种方式实现，包括使用数据绑定、属性通知、消息传递等。本文将详细介绍几种常用的方法来监控WPF中的变量值改变。1. 使用数据绑定和属性通知WPF中的数据绑定机制允许UI元素与后台数据模型紧密绑定。通过实现INotifyPropertyChanged接口，可以在数据模型中监控属性值的改变。实现步骤1.1 创建数据模型首先，创建...
计算机毕业设计Hadoop+大模型地震预测系统 地震数据分析可视化 地震爬虫 大数据毕业设计 Spark 机器学习 深度学习 Flink 大数据
最新发布
全网粉丝10W+、全栈领域优质创作者、掘金、阿里云等社区博客专家、专注于全栈领域和毕业项目实战
11-03 791
计算机毕业设计Hadoop+大模型地震预测系统 地震数据分析可视化 地震爬虫 大数据毕业设计 Spark 机器学习 深度学习 Flink 大数据
Hadoop四大核心默认配置文件详解
Hadoop的默认配置文件分为以下几个主要部分，每一部分都管理着Hadoop架构中不同组件的配置参数。 1. core-default.xml core-default.xml文件包含了Hadoop核心模块的配置选项。核心模块主要负责Hadoop的基本功能，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值