hadoop各种配置文件的含义及作用

文件描述
core-default.xml该文件包含了对于 Hadoop 核心部分的默认配置,例如 I/O 设置、网络设置、副本设置等
hdfs-default.xml该文件包含了对于 Hadoop 分布式文件系统(HDFS)的默认配置,例如 NameNode 和 DataNode 的地址、端口、块大小、副本数量等
hdfs-rbf-default.xml该文件包含了对于 Hadoop Router-based Federation (RBF) 的默认配置。RBF 是 Hadoop 提供的一种多命名空间的解决方案,用于实现跨多个 HDFS 集群的命名空间联邦
mapred-default.xml该文件包含了对于 MapReduce 框架的默认配置,例如 JobTracker 和 TaskTracker 的设置、Map 和 Reduce 任务的数量、内存和 CPU 配置等
yarn-default.xml该文件包含了对于 YARN (Yet Another Resource Negotiator) 的默认配置,包括 ResourceManager、NodeManager 和 ApplicationMaster 的配置,以及资源(如内存和 CPU)的管理和调度策略等
kms-default.html该文件包含了对于 Hadoop Key Management Server (KMS) 的默认配置。KMS 是 Hadoop 提供的一个服务,用于管理加密密钥,支持 HDFS 的透明数据加密功能
httpfs-default.html该文件包含了对于 Hadoop HttpFS 服务的默认配置。HttpFS 是 Hadoop 提供的一个服务,可以通过 HTTP 或 HTTPS 协议来访问 HDFS
Deprecated Properties指的 Hadoop 中已被废弃的配置属性。在新版本的 Hadoop 中,一些配置属性可能已经被废弃,它们可能被新的属性替代,或者完全不再使用。这些信息通常会在各个配置文件的注释中或者 Hadoop 的官方文档中提到

这些都是默认配置文件,用户通常不会直接修改这些文件。相反,用户会创建自己的配置文件(如 core-site.xml,hdfs-site.xml 等),在其中覆盖默认配置。这样可以在保持默认配置不变的同时,根据具体的需求和环境来定制 Hadoop 的配置。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值