hadoop_core-site.xml配置实例

小_太_阳

于 2024-10-11 21:07:38 发布

阅读量90

点赞数 4

文章标签： hadoop xml 大数据

本文链接：https://blog.csdn.net/qq_41074187/article/details/142863105

版权

hadoop3.2.3的高可用集群core-site.xml配置实例

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>


<configuration>
	
	<property>
		<!--Hadoop文件系统的默认URI，这里的默认访问地址是starcluster -->
		<name>fs.defaultFS</name>
		<value>hdfs://starcluster</value>
    </property>
	
	<property>
		<!--Hadoop临时文件的存储目录 -->
		<name>hadoop.tmp.dir</name>
		<value>file:/home/hadoop/tmp/hadoop/</value>
	</property>
	
	<property>
		<!--设置代理用户（root用户）可以访问Hadoop服务的主机和组 -->
		<name>hadoop.proxyuser.root.hosts</name>
		<value>*</value>
	</property>
	<property>
		<name>hadoop.proxyuser.root.groups</name>
		<value>*</value>
	</property>
	
	<property>
		<!--设置HDFS垃圾回收机制，文件将在垃圾桶中保留1440分钟后被永久删除 -->
		<name>fs.trash.interval</name>
		<value>1440</value>
	</property>

	<property>
		<!--设置HDFS垃圾回收机制，圾桶的检查点间隔是120分钟 -->
		<name>fs.trash.checkpoint.interval</name>
		<value>120</value>
	</property>
	
	<property>
		<!--设置ZooKeeper集群的地址和端口，用于Hadoop的高可用性配置 -->
		<name>ha.zookeeper.quorum</name>
		<value>kafka-1:2181,kafka-2:2181,kafka-3:2181</value>
	</property>
	
	<property>
		<!--用于设置代理用户（hadoop用户）可以访问Hadoop服务的主机和组 -->
		<name>hadoop.proxyuser.hadoop.hosts</name>
		<value>*</value>
	</property>
	<property>
		<!--只有hadoop组的用户可以通过hadoop用户代理访问Hadoop服务 -->
		<name>hadoop.proxyuser.hadoop.groups</name>
		<value>hadoop</value>
	</property>
	
	<property>
		<!--允许任何主机上的root用户通过代理访问Hadoop服务 -->
		<name>hadoop.proxyuser.root.hosts</name>
		<value>*</value>
	</property>
	
	<property>
		<!--只有属于hadoop组的root用户可以通过代理访问Hadoop服务 -->
		<name>hadoop.proxyuser.root.groups</name>
		<value>hadoop</value>
	</property>
	
	<property>
		<!--指定Hadoop支持的压缩编解码器列表 -->
		<name>io.compression.codecs</name>
		<value>org.apache.hadoop.io.compress.GzipCodec,
			 org.apache.hadoop.io.compress.DefaultCodec,
			 org.apache.hadoop.io.compress.BZip2Codec,
			 org.apache.hadoop.io.compress.SnappyCodec,
			 com.hadoop.compression.lzo.LzoCodec,
			 com.hadoop.compression.lzo.LzopCodec
		</value>
	</property>
	
	<property>
		<!--是否使用Snappy的本地库（native library）来进行压缩和解压缩操作 -->
		<name>io.compression.codec.snappy.native</name>
		<value>true</value>
	</property>
	
	<property>
		<!--指定LZO压缩编解码器的Java类名 -->
		<name>io.compression.codec.lzo.class</name>
		<value>com.hadoop.compression.lzo.LzoCodec</value>
	</property>
	
</configuration>