Hadoop配置文件Core-site.xml参数说明用途

Hadoop配置文件core-site.xml参数说明用途

参数说明

以下是Hadoop配置文件中一些参数、默认值和用法的表格形式输出：

参数	默认值	用法
fs.defaultFS	未指定	HDFS默认文件系统的URI。
fs.trash.interval	0	HDFS垃圾回收时间间隔（以分钟为单位）。
io.compression.codecs	未指定	IO压缩编解码器列表。
hadoop.security.authentication	simple	Hadoop安全认证方式。
hadoop.security.authorization	false	是否启用Hadoop安全授权。
hadoop.rpc.protection	authentication	Hadoop RPC保护级别。
hadoop.security.auth_to_local	未指定	Hadoop认证到本地用户的映射规则。
hadoop.proxyuser.*	未指定	允许特定用户或组作为代理用户执行任务。
hadoop.security.group.mapping	org.apache.hadoop.security .JniBasedUnixGroupsMappingWithFallback	Hadoop组映射类。
hadoop.security.instrumentation.requires.admin	true	Hadoop安全仪器是否需要管理员权限。
net.topology.script.file.name	未指定	网络拓扑脚本文件名。
io.file.buffer.size	4096	IO文件缓冲区大小（以字节为单位）。
hadoop.ssl.enabled	false	是否启用Hadoop SSL。
hadoop.ssl.require.client.cert	false	是否需要客户端证书进行Hadoop SSL连接。
hadoop.ssl.keystores.factory.class	未指定	Hadoop SSL密钥库工厂类。
hadoop.ssl.server.conf	ssl-server.xml	Hadoop SSL服务器配置文件名。
hadoop.ssl.client.conf	ssl-client.xml	Hadoop SSL客户端配置文件名。

请注意，这里列出的参数、默认值和用法仅是一部分常见的示例，并且可能会根据不同的Hive版本、Hadoop发行版或其他自定义配置而有所变化。具体的参数配置和默认值应根据您的实际环境和需求来确定。

示例说明

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://nameservice1</value>
  </property>
  
  <!-- HDFS默认文件系统的URI -->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://nameservice1</value>
  </property>

  <!-- HDFS垃圾回收时间间隔（以分钟为单位） -->
  <property>
    <name>fs.trash.interval</name>
    <value>1</value>
  </property>

  <!-- IO压缩编解码器列表 -->
  <property>
    <name>io.compression.codecs</name>
    <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.DeflateCodec,org.apache.hadoop.io.compress.SnappyCodec,org.apache.hadoop.io.compress.Lz4Codec</value>
  </property>

  <!-- Hadoop安全认证方式 -->
  <property>
    <name>hadoop.security.authentication</name>
    <value>kerberos</value>
  </property>

  <!-- 启用Hadoop安全授权 -->
  <property>
    <name>hadoop.security.authorization</name>
    <value>true</value>
  </property>

  <!-- Hadoop RPC保护级别 -->
  <property>
    <name>hadoop.rpc.protection</name>
    <value>authentication</value>
  </property>

  <!-- Hadoop认证到本地用户的映射规则 -->
  <property>
    <name>hadoop.security.auth_to_local</name>
    <value>DEFAULT</value>
  </property>

  <!-- 允许oozie用户作为代理用户 -->
  <property>
    <name>hadoop.proxyuser.oozie.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.oozie.groups</name>
    <value>*</value>
  </property>

  <!-- 允许flume用户作为代理用户 -->
  <property>
    <name>hadoop.proxyuser.flume.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.flume.groups</name>
    <value>*</value>
  </property>

  <!-- 允许HTTP用户作为代理用户 -->
  <property>
    <name>hadoop.proxyuser.HTTP.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.HTTP.groups</name>
    <value>*</value>
  </property>

  <!-- 允许hive用户作为代理用户 -->
  <property>
    <name>hadoop.proxyuser.hive.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.hive.groups</name>
    <value>*</value>
  </property>

  <!-- 允许hue用户作为代理用户 -->
  <property>
    <name>hadoop.proxyuser.hue.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.hue.groups</name>
    <value>*</value>
  </property>

  <!-- 允许httpfs用户作为代理用户 -->
  <property>
    <name>hadoop.proxyuser.httpfs.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.httpfs.groups</name>
    <value>*</value>
  </property>

  <!-- 允许hdfs用户作为代理用户 -->
  <property>
    <name>hadoop.proxyuser.hdfs.groups</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.hdfs.hosts</name>
    <value>*</value>
  </property>

  <!-- 允许yarn用户作为代理用户 -->
  <property>
    <name>hadoop.proxyuser.yarn.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.yarn.groups</name>
    <value>*</value>
  </property>

  <!-- Hadoop组映射类 -->
  <property>
    <name>hadoop.security.group.mapping</name>
    <value>org.apache.hadoop.security.ShellBasedUnixGroupsMapping</value>
  </property>

  <!-- Hadoop安全仪器是否需要管理员权限 -->
  <property>
    <name>hadoop.security.instrumentation.requires.admin</name>
    <value>false</value>
  </property>

  <!-- 网络拓扑脚本文件名 -->
  <property>
    <name>net.topology.script.file.name</name>
    <value>/etc/hadoop/conf.cloudera.yarn/topology.py</value>
  </property>

  <!-- IO文件缓冲区大小（以字节为单位） -->
  <property>
    <name>io.file.buffer.size</name>
    <value>65536</value>
  </property>

  <!-- 启用Hadoop SSL -->
  <property>
    <name>hadoop.ssl.enabled</name>
    <value>false</value>
  </property>

  <!-- 是否需要客户端证书进行Hadoop SSL连接 -->
  <property>
    <name>hadoop.ssl.require.client.cert</name>
    <value>false</value>
    <final>true</final>
  </property>

  <!-- Hadoop SSL密钥库工厂类 -->
  <property>
    <name>hadoop.ssl.keystores.factory.class</name>
    <value>org.apache.hadoop.security.ssl.FileBasedKeyStoresFactory</value>
    <final>true</final>
  </property>

  <!-- Hadoop SSL服务器配置文件名 -->
  <property>
    <name>hadoop.ssl.server.conf</name>
    <value>ssl-server.xml</value>
    <final>true</final>
  </property>

  <!-- Hadoop SSL客户端配置文件名 -->
  <property>
    <name>hadoop.ssl.client.conf</name>
    <value>ssl-client.xml</value>
    <final>true</final>
  </property>
</configuration>

具体用途

它们的具体用途如下：

• fs.defaultFS：HDFS默认文件系统的URI。
• fs.trash.interval：HDFS垃圾回收时间间隔（以分钟为单位）。
• io.compression.codecs：IO压缩编解码器列表。
• hadoop.security.authentication：Hadoop安全认证方式。
• hadoop.security.authorization：是否启用Hadoop安全授权。
• hadoop.rpc.protection：Hadoop RPC保护级别。
• hadoop.security.auth_to_local：Hadoop认证到本地用户的映射规则。
• hadoop.proxyuser.*：允许特定用户或组作为代理用户执行任务。
• hadoop.security.group.mapping：Hadoop组映射类。
• hadoop.security.instrumentation.requires.admin：Hadoop安全仪器是否需要管理员权限。
• net.topology.script.file.name：网络拓扑脚本文件名。
• io.file.buffer.size：IO文件缓冲区大小（以字节为单位）。
• hadoop.ssl.enabled：是否启用Hadoop SSL。
• hadoop.ssl.require.client.cert：是否需要客户端证书进行Hadoop SSL连接。
• hadoop.ssl.keystores.factory.class：Hadoop SSL密钥库工厂类。
• hadoop.ssl.server.conf：Hadoop SSL服务器配置文件名。
• hadoop.ssl.client.conf：Hadoop SSL客户端配置文件名。