Hadoop学习之Hadoop集群的定制配置（一）

最新推荐文章于 2024-08-14 18:38:10 发布

skyWalker_ONLY

最新推荐文章于 2024-08-14 18:38:10 发布

阅读量3.8k

点赞数 1

分类专栏： Hadoop-1.x Hadoop 文章标签： Hadoop HDFS 集群 mapreduce 管理

本文链接：https://blog.csdn.net/skywalker_only/article/details/20525851

版权

Hadoop 同时被 2 个专栏收录

49 篇文章 22 订阅 ¥9.90 ¥99.00

订阅专栏

Hadoop-1.x

19 篇文章 0 订阅

订阅专栏

本文介绍了如何定制Hadoop集群的配置，包括修改hadoop-env.sh以管理运行环境，以及核心、HDFS和MapReduce的配置文件以调整参数。重点讨论了如fs.default.name、dfs.name.dir、dfs.data.dir等关键配置，以及队列访问控制列表的设置。通过对这些参数的调整，可提升Hadoop集群的性能和安全性。

摘要由CSDN通过智能技术生成

之前已经在七台物理机上以全分布模式安装了Hadoop集群，除了制动NameNode、JobTracker、DataNode、TaskTracker及相关的端口号外，并没有对集群配置做进一步的设定，都保留了默认值。而要想使Hadoop集群发挥更大的作用则需要根据实际情况对配置做修改，下面将介绍如何在Hadoop集群中对一些配置项做修改，由于运维Hadoop集群的经验尚浅难免有所遗漏或者不足。

Hadoop默认的配置文件为${HADOOP_HOME}\src\core\core-default.xml、${HADOOP_HOME}\src\hdfs\hdfs-default.xml、${HADOOP_HOME}\src\mapred\mapred-default.xml。而定制的配置文件则位为${HADOOP_HOME}\conf\core-site.xml、${HADOOP_HOME}\conf\hdfs-site.xml、${HADOOP_HOME}\conf\mapred-site.xml。在对定制配置文件不做修改的情况下，Hadoop使用默认配置文件的默认选项。另外还可以修改${HADOOP_HOME}\conf\hadoop-env.sh中的特定值来控制${HADOOP_HOME}\bin\hadoop脚本的执行行为。

Hadoop的定制配置主要包括两个方面，一是Hadoop守护进程的运行环境，二是Hadoop守护进程的配置参数。Hadoop守护进程分别为NameNode、JobTracker、DataNode、TaskTracker。

首先看看Hadoop守护进程运行

了解本专栏