Hadoop（HA）四个核心配置文件

最新推荐文章于 2024-09-19 02:14:14 发布
最新推荐文章于 2024-09-19 02:14:14 发布
阅读量3.4k 收藏 6
点赞数 2
分类专栏： Hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Gavin_chun/article/details/77936475
版权

一、core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!--Yarn 需要使用 fs.defaultFS 指定NameNode URI -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://mycluster</value>
        </property>
        <!--==============================Trash机制======================================= -->
        <property>
                <!--多长时间创建CheckPoint NameNode截点上运行的CheckPointer 从Current文件夹创建CheckPoint;默认：0 由fs.trash.interval项指定 -->
                <name>fs.trash.checkpoint.interval</name>
                <value>0</value>
        </property>
        <property>
                <!--多少分钟.Trash下的CheckPoint目录会被删除,该配置服务器设置优先级大于客户端，默认：0 不删除 -->
                <name>fs.trash.interval</name>
                <value>1440</value>
        </property>

         <!--指定hadoop临时目录, hadoop.tmp.dir 是hadoop文件系统依赖的基础配置，很多路径都依赖它。如果hdfs-site.xml中不配 置namenode和datanode的存放位置，默认就放在这>个路径中 -->
        <property>   
                <name>hadoop.tmp.dir</name>
                <value>/opt/soft/hadoop/tmp</value>
        </property>

         <!-- 指定zookeeper地址 -->
        <property>
                <name>ha.zookeeper.quorum</name>
                <value>hadoop000:2181,hadoop001:2181,hadoop002:2181</value>
        </property>
         <!--指定ZooKeeper超时间隔，单位毫秒 -->
        <property>
                <name>ha.zookeeper.session-timeout.ms</name>
                <value>2000</value>
        </property>

        <property>
           <name>hadoop.proxyuser.root.hosts</name>
           <value>*</value> 
        </property> 
        <property> 
            <name>hadoop.proxyuser.root.groups</name> 
            <value>*</value> 
       </property> 


      <property>
          <name>io.compression.codecs</name>
          <value>org.apache.hadoop.io.compress.GzipCodec,
            org.apache.hadoop.io.compress.DefaultCodec,
            org.apache.hadoop.io.compress.BZip2Codec,
            org.apache.hadoop.io.compress.SnappyCodec
          </value>
      </property>
</configuration>

二、hdfs-site.xml(HA)

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!--HDFS超级用户 -->
    <property>
        <name>dfs.permissions.superusergroup</name>
        <value>root</value>
    </property>

    <!--开启web hdfs -->
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/soft/hadoop/data/dfs/name</value>
        <description> namenode 存放name table(fsimage)本地目录（需要修改）</description>
    </property>
    <property>
        <name>dfs.namenode.edits.dir</name>
        <value>${dfs.namenode.name.dir}</value>
        <description>namenode粗放 transaction file(edits)本地目录（需要修改）</description>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/soft/hadoop/data/dfs/data</value>
        <description>datanode存放block本地目录（需要修改）</description>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <!-- 块大小256M （默认128M） -->
    <property>
        <name>dfs.blocksize</name>
        <value>268435456</value>
    </property>
    <!--======================================================================= -->
    <!--HDFS高可用配置 -->
    <!--指定hdfs的nameservice为mycluster,需要和core-site.xml中的保持一致 -->
    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>
    <property>
        <!--设置NameNode IDs 此版本最大只支持两个NameNode -->
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
    </property>

    <!-- Hdfs HA: dfs.namenode.rpc-address.[nameservice ID] rpc 通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>hadoop000:8020</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>hadoop001:8020</value>
    </property>

    <!-- Hdfs HA: dfs.namenode.http-address.[nameservice ID] http 通信地址 -->
    <property>
        <name>dfs.namenode.http-address.mycluster.nn1</name>
        <value>hadoop000:50070</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.nn2</name>
        <value>hadoop001:50070</value>
    </property>

    <!--==================Namenode editlog同步 ============================================ -->
    <!--保证数据恢复 -->
    <property>
        <name>dfs.journalnode.http-address</name>
        <value>0.0.0.0:8480</value>
    </property>
    <property>
        <name>dfs.journalnode.rpc-address</name>
        <value>0.0.0.0:8485</value>
    </property>
    <property>
        <!--设置JournalNode服务器地址，QuorumJournalManager 用于存储editlog -->
        <!--格式：qjournal://<host1:port1>;<host2:port2>;<host3:port3>/<journalId> 端口同journalnode.rpc-address -->
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://hadoop000:8485;hadoop001:8485;hadoop002:8485/mycluster</value>
    </property>

    <property>
        <!--JournalNode存放数据地址 -->
        <name>dfs.journalnode.edits.dir</name>
        <value>/opt/soft/hadoop/data/dfs/jn</value>
    </property>
    <!--==================DataNode editlog同步 ============================================ -->
    <property>
        <!--DataNode,Client连接Namenode识别选择Active NameNode策略 -->
                             <!-- 配置失败自动切换实现方式 -->
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <!--==================Namenode fencing：=============================================== -->
    <!--Failover后防止停掉的Namenode启动，造成两个服务 -->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>
    <property>
        <!--多少milliseconds 认为fencing失败 -->
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>

    <!--==================NameNode auto failover base ZKFC and Zookeeper====================== -->
    <!--开启基于Zookeeper  -->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <!--动态许可datanode连接namenode列表 -->
     <property>
       <name>dfs.hosts</name>
       <value>/opt/soft/hadoop/etc/hadoop/slaves</value>
     </property>
</configuration>

三、mapred-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- 配置 MapReduce Applications -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!-- JobHistory Server ============================================================== -->
    <!-- 配置 MapReduce JobHistory Server 地址 ，默认端口10020 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop000:10020</value>
    </property>
    <!-- 配置 MapReduce JobHistory Server web ui 地址， 默认端口19888 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop001:19888</value>
    </property>

<!-- 配置 Map段输出的压缩,snappy-->
  <property>
      <name>mapreduce.map.output.compress</name> 
      <value>true</value>
  </property>

  <property>
      <name>mapreduce.map.output.compress.codec</name> 
      <value>org.apache.hadoop.io.compress.SnappyCodec</value>
   </property>

</configuration>

四、yarn-site.xml（HA）

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- nodemanager 配置 ================================================= -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.nodemanager.localizer.address</name>
        <value>0.0.0.0:23344</value>
        <description>Address where the localizer IPC is.</description>
    </property>
    <property>
        <name>yarn.nodemanager.webapp.address</name>
        <value>0.0.0.0:23999</value>
        <description>NM Webapp address.</description>
    </property>

    <!-- HA 配置 =============================================================== -->
    <!-- Resource Manager Configs -->
    <property>
        <name>yarn.resourcemanager.connect.retry-interval.ms</name>
        <value>2000</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <!-- 使嵌入式自动故障转移。HA环境启动，与 ZKRMStateStore 配合 处理fencing -->
    <property>
        <name>yarn.resourcemanager.ha.automatic-failover.embedded</name>
        <value>true</value>
    </property>
    <!-- 集群名称，确保HA选举时对应的集群 -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yarn-cluster</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>


    <!--这里RM主备结点需要单独指定,（可选）
    <property>
         <name>yarn.resourcemanager.ha.id</name>
         <value>rm2</value>
     </property>
     -->

    <property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms</name>
        <value>5000</value>
    </property>
    <!-- ZKRMStateStore 配置 -->
    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>hadoop000:2181,hadoop001:2181,hadoop002:2181</value>
    </property>
    <property>
        <name>yarn.resourcemanager.zk.state-store.address</name>
        <value>hadoop000:2181,hadoop001:2181,hadoop002:2181</value>
    </property>
    <!-- Client访问RM的RPC地址 (applications manager interface) -->
    <property>
        <name>yarn.resourcemanager.address.rm1</name>
        <value>hadoop000:23140</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address.rm2</name>
        <value>hadoop001:23140</value>
    </property>
    <!-- AM访问RM的RPC地址(scheduler interface) -->
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>
        <value>hadoop000:23130</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>hadoop001:23130</value>
    </property>
    <!-- RM admin interface -->
    <property>
        <name>yarn.resourcemanager.admin.address.rm1</name>
        <value>hadoop000:23141</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address.rm2</name>
        <value>hadoop001:23141</value>
    </property>
    <!--NM访问RM的RPC端口 -->
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
        <value>hadoop000:23125</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
        <value>hadoop001:23125</value>
    </property>
    <!-- RM web application 地址 -->
    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>hadoop000:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>hadoop001:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.https.address.rm1</name>
        <value>hadoop000:23189</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.https.address.rm2</name>
        <value>hadoop001:23189</value>
    </property>

    <property>
       <name>yarn.log-aggregation-enable</name>
       <value>true</value>
    </property>
    <property>
         <name>yarn.log.server.url</name>
         <value>http://hadoop000:19888/jobhistory/logs</value>
    </property>


    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048</value>
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value>
        <discription>单个任务可申请最少内存，默认1024MB</discription>
     </property>


  <property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>2048</value>
    <discription>单个任务可申请最大内存，默认8192MB</discription>
  </property>

   <property>
       <name>yarn.nodemanager.resource.cpu-vcores</name>
       <value>2</value>
     </property>

</configuration>
Hadoop 四大组件总结
给我一点温度
08-27 1835
Hadoop 的四大组件：common、HDFS、MapReduce、YARN common(工具类)： 包括 Hadoop 常用的工具类，由原来的 Hadoopcore 部分更名而来。主要包括系统配置工具 Configuration、远程过程调用 RPC、序列化机制和 Hadoop 抽象文件系统 FileSystem 等。它们为在通用硬件上搭建云计算环境提供基本的服务，并为运行在该平台上的软...
hadoop2.8.2 的四个配置参数文件
12-26
hadoop2.8.2 的四个配置参数文件,基出centos6.5安装的hadoop,四个配置文件分别是：hdfs-site.xml, mapred-site.xml, core-site.xml, yarn-site.xml,
《Hadoop》之"踽踽独行"（九）Hadoop集群的四个配置文件的属性解析
从明老师的博客
01-10 773
在启动hadoop集群的守护线程时，一定会加载并运行相关的class字节码文件。通过common模块和hdfs模块里的源码可以看到，它们读取了相关的配置文件。 hadoop-common-2.7.3-sources.jar下的org.apache.hadoop.conf.Configuration源文件的部分源码： package org.apache.hadoop.conf; //类的全...
Hadoop集群的四个配置文件的常用属性解析_hadoop集群搭建中常用的4个配置文件
最新发布
2401_87198445的博客
09-19 697
那么，今天，我们就来了解一下hadoop的默认配置文件(core-default.xml、hdfs-default.xml、mapred-default.xml、yarn-default.xml)里的内容。
Hadoop配置文件介绍
Hannah_zh的博客
07-23 500
Hadoop配置文件介绍 1、core-site.xml &amp;amp;lt;configuration&amp;amp;gt; &amp;amp;lt;!--指定namenode的地址--&amp;amp;gt; &amp;amp;lt;property&amp;amp;gt; &amp;amp;lt;name&amp;amp;gt;fs.defau
Hadoop高可用集群安装之四个配置文件(core、hdfs、mapred、yarn）
swag_An的博客
05-10 686
1、core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop-ha</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/admin/hadoop/tmp</valu
Hadoop四个配置文件
Python_Billy的博客
03-08 1042
重装了下单机版的hadoop，基本配置文件忘了，这里记录一下免得以后总得找 core-site.xml: <configuration> <!-- 用来指定hdfs的老大（NameNode）的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> &lt
Hadoop（HA）高可用配置文件
03-26
详细的 hadoop （HA）高可用配置文件内容，以及注释摘要。四个配置文件详细内容。
hadoop HA配置文件.zip
11-22
总之，这个压缩包包含的四个配置文件是构建和维护Hadoop HA集群的基础，它们定义了系统的行为，确保在主节点失效时，服务能够平滑地过渡到备用节点，从而提供高度可用的服务。正确理解和配置这些文件是成功部署和...
HadoopHA集群部署、YARNHA配置、启动与验证教学课件.pptx
06-20
【Hadoop HA集群部署】是...总结来说，Hadoop HA和YARN HA的配置涉及多个层面，包括网络、安全、配置文件修改以及服务启动和验证。这些步骤的目的是构建一个健壮且高可用的Hadoop环境，以支持大规模的分布式计算任务。
Hadoop HA高可用详细配置，100分也不贵
04-11
- 更改配置文件：将`zoo_sample.cfg`重命名为`zoo.cfg`，并编辑该文件设置Zookeeper的相关参数。 - 设置`dataDir`指向存储Zookeeper数据的目录。 - 在文件末尾添加服务器列表，例如： ```properties server.1=...
HadoopHA高可用集群配置 hdfs-site.xml
07-07
本文将重点介绍Hadoop HA高可用集群配置中的关键参数及其作用，特别是`hdfs-site.xml`文件中与HA相关的配置项。 #### 二、Hadoop HA概述 Hadoop HA（High Availability）是指通过在集群中部署多个NameNode实例来...
搭建hadoop集群的全部配置文件
12-28
搭建hadoop集群的全部配置文件，全在里面了，跟我的文章配合起来用
hadoop各个配置文件的作用
Stay foolish Stay hungry
09-07 1782
core-site.xml 　　 //指定hdfs的主端口 namenode要放在哪台机器上 　　　　fs.defaultFS 　　　　hdfs://hadoop001:9000 //主机名+端口号 　　 　　 //临时变量目录 data name secondary 如果指定了namenode datanode 可以不配 　　　　hadoop.tmp.dir 　　　　usr/sof...
Hadoop四大组件介绍
热门推荐
CSDN19970806的博客
08-07 1万+
1.学习Hadoop之前需要的基础，javaSE（基础），EE(SSM)，Linux基础，因为90%的框架都是用java写的，Hadoop、hive、HBase、下面是Hadoop的有关介绍。 2.学习大数据里面最核心的就是Hadoop，我们知道什么是大数据。就是一个非常庞大的数据，计算机无法直接取读取以及分析处理，这个时候就要用到我们学到的大数据。       Hadoop的四大组件： ...
Hadoop完整搭建过程（四）：完全分布模式（服务器）
氷泠
08-22 700
1 概述 参考
一、Hadoop主要配置文件的作用
伟庭的博客
11-30 4398
Hadoop主要配置文件的作用
Hadoop完全分布式配置文件
weixin_45837370的博客
09-26 416
在配置前，需要各个虚拟机之间和本机能够ping通，防火墙全部关闭，Java和Hadoop环境准备好 需要配置的文件如下： hadoop-env.sh core-site.xml hdfs-site.xml yarn-site.xml slaves mapred-site.xml <!-- hadoop核心配置文件core-site.xml --> <configuration> <property> <name>fs....
大数据之Hadoop集群搭建（4个节点）
hjseo_seg的博客
03-30 3126
大数据必备–搭建Hadoop集群（4个节点） 初学大数据肯定第一步先搭建hadoop集群，虽然不知道怎么用，但是先搭建集群是你大数据学习之旅的第一步，操作步骤有以下这几步，用的centos系统 对四台虚拟机进网络和静态IP设置 Hadoop、jdk的安装 创建hadoop文件目录 导入jdk和hadoop的环境变量 修改hadoop配置文件 修改虚拟机主机名 绑定hostname与ip地址 关闭防火墙 配置节点之间的免密登录 格式化HDFS文件系统 启动HDFS文件系统 完成以上步骤就算搭建成功，当然.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值