大数据——配置并启动集群/开启历史服务器和日志聚集

Java在我心中永远的神

于 2021-11-16 21:30:27 发布

阅读量1.5k

点赞数 1

分类专栏： Java 程序人生架构文章标签： java spring maven

本文链接：https://blog.csdn.net/javamba/article/details/121365920

版权

本文详细介绍了如何配置Hadoop集群，包括部署规划、配置文件修改、集群启动，以及历史服务器和日志聚集的设置。在测试环节，通过上传文件到HDFS和查看YARN资源调度，验证了集群的正常运行。

摘要由CSDN通过智能技术生成

这篇文章对Hadoop进行配置，修改配置文件，启动并测试集群。开去历史服务器以及日志聚集。

	hadoop102	hadoop103	hadoop104
HDFS	`NameNode`、`DataNode`	`DataNode`	`SencondNameNode`、`DataNode`
YARN	`NodeManager`	`ResourceManager、NodeManager`	`NodeManager`

1、默认配置文件

默认配置文件可在对应的jar包中找到

配置文件	配置文件位置
core-default.xml	hadoop-common-3.1.3.jar/core-default.xml
hdf-default.xml	hadoop-hdfs-3.1.3.jar/hdfs-default.xml
yarn-default.xml	hadoop-yarn-common-3.1.3.jar/yarn-default.xml
mapred-default.xml	hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

2、自定义配置文件

在$HADOOP_HOME/etc/hadoop中

文章使用的时/opt/module/hadoop-3.1.3/etc/hadoop

所有操作在swcode用户进行，非root

在hadoop102上配置#

1、核心配置文件：core-site.xml

vim /o

关注

专栏目录