【Hadoop】core-site.xml配置文件详解

🍁 博主 "开着拖拉机回家"带您 Go to New World.✨🍁

🦄 个人主页——🎐开着拖拉机回家_Linux,Java基础学习,大数据运维-CSDN博客 🎐✨🍁

🪁🍁 希望本文能够给您带来一定的帮助🌸文章粗浅，敬请批评指正！🍁🐥

🪁🍁🪁🍁🪁🍁🪁🍁 🪁🍁🪁🍁🪁🍁🪁 🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁

感谢点赞和关注 ，每天进步一点点！加油！

目录

1 版本信息 

2 core-site.xml配置文件详解

---

1 版本信息 

---

 

2 core-site.xml配置文件详解

---

<-- 描述集群中NameNode结点的URI(包括协议、主机名称、端口号) -->
<property>
          <name>fs.defaultFS</name>
          <value>hdfs://hdp101:8020</value>
          <final>true</final>
</property>

<-- 启用 s3a 快速上载机制 -->
<property>
          <name>fs.s3a.fast.upload</name>
          <value>true</value>
</property>

<-- 所有数据上传缓存在磁盘中 -->
<property>
          <name>fs.s3a.fast.upload.buffer</name>
          <value>disk</value>
</property>

<-- upload或copy操作，当文件超过多大时，即拆分。 -->
<property>
          <name>fs.s3a.multipart.size</name>
          <value>67108864</value>
</property>

<-- 检查点之间的时间间隔， 单位为分钟，  此属性可以在服务器和客户端上配置，如果服务器上被禁用，则检查客户端配置，如果服务器上被启用，则忽略客户端配置。-->
<property>
          <name>fs.trash.interval</name>
          <value>360</value>
</property>

<--  zookeeper 失败切换控制器的重试次数设置  -->
<property>
          <name>ha.failover-controller.active-standby-elector.zk.op.retries</name>
          <value>120</value>
</property>

<-- zookeeper ACL认证 -->

<property>
      <name>ha.zookeeper.acl</name>
      <value>sasl:nn:rwcda</value>
</property>

<-- zookeeper  -->

<property>
      <name>ha.zookeeper.quorum</name>
      <value>client:2181,namenode:2181,snamenode:2181</value>
</property>

<-- 允许跨域的方法列表 -->
<property>
           <name>hadoop.http.cross-origin.allowed-methods</name>
           <value>GET,PUT,POST,OPTIONS,HEAD,DELETE</value>
</property>

<-- 允许跨域访问的来源 -->
<property>
           <name>hadoop.http.cross-origin.allowed-origins</name>
           <value>*</value>
</property>

<-- 一个逗号分隔的类名列表，他们必须继承于org.apache.hadoop.http.FilterInitializer，相应的过滤器被初始化后，将应用于所有的JSP和Servlet网页 -->
<property>
         <name>hadoop.http.filter.initializers</name>
        <value>org.apache.hadoop.security.AuthenticationFilterInitializer,org.apache.hadoop.security.HttpCrossOriginFilterInitializer</value>
</property>

<-- hdfs 代理用户  -->
<property>
          <name>hadoop.proxyuser.hdfs.hosts</name>
          <value>*</value>
</property>

<-- hive 代理用户组 -->
<property>
          <name>hadoop.proxyuser.hive.groups</name>
          <value>*</value>
</property>

<-- hdp102 上的hive用户可以以superuser 的方式模拟hadoop组的任务用户 -->
<property>
          <name>hadoop.proxyuser.hive.hosts</name>
          <value>hdp102</value>
</property>

<--  通过 httpfs 接口访问的用户获得的群组身份 -->
<property>
          <name>hadoop.proxyuser.root.groups</name>
          <value>*</value>
</property>

<-- 通过 httpfs接口hdfs的IP地址限制 -->
<property>
  <name>hadoop.proxyuser.root.hosts</name>
  <value>hdp101</value>
</property>

<-- 将 kerberos主题映射到本地用户名 -->
<property>
  <name>hadoop.security.auth_to_local</name>
  <value>DEFAULT</value>
</property>

<-- 是否启用service级别的授权 -->
<property>
          <name>hadoop.security.authorization</name>
          <value>false</value>
</property>

<-- 指示是否需要管理员 ACL才能访问  -->
<property>
          <name>hadoop.security.instrumentation.requires.admin</name>
          <value>false</value>
</property>

<-- 逗号分割的压缩编码器类列表，可以用于压缩 /解压 -->
<property>
          <name>io.compression.codecs</name>                 <value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.SnappyCodec</value>
</property>

<-- 在序列文件中使用的缓冲区大小。这个缓冲区的大小应该是页大小（英特尔x86上为4096）的倍数，它决定读写操作中缓冲了多少数据。 -->
<property>
          <name>io.file.buffer.size</name>
          <value>131072</value>
</property>

<-- 可用于获取序列化和反序列化的序列化类的列表。 -->
<property>
  <name>io.serializations</name>
  <value>org.apache.hadoop.io.serializer.WritableSerialization</value>
</property>

<-- 客户端重新建立服务器连接的重试次数 -->
<property>
          <name>ipc.client.connect.max.retries</name>
          <value>50</value>
</property>

<-- 空闲连接断开时间 -->
<property>
          <name>ipc.client.connection.maxidletime</name>
          <value>30000</value>
</property>

<-- 定义连接的阈值数量，之后检查连接是否空闲  -->
<property>
          <name>ipc.client.idlethreshold</name>
          <value>8000</value>
</property>

<--  关闭Nagle’s算法，此算法可以延迟小数据包发送，从而达到网络流量更有效利用。但是这对小数据包是不利的。默认关闭。建议false，即开启Nagle算法 -->
<property>
          <name>ipc.server.tcpnodelay</name>
          <value>true</value>
</property>

<--  设为true，则JT和NN的tracker网页会出现杀任务删文件等操作连接，默认是false   -->
<property>
          <name>mapreduce.jobtracker.webinterface.trusted</name>
          <value>false</value>
</property>

<-- 机架感知，当 datanode 注册时和 heartbeat 时，会把 datanode 的 ip 作为参数传入，返回信息为此datanode 的机架信息 -->
<property>
          <name>net.topology.script.file.name</name>
          <value>/etc/hadoop/conf/topology_script.py</value>
</property>

谢谢点赞和关注！