hadoop slaves文件_hadoop:分布式集群参数master节点的配置!

本文详述了在分布式Hadoop集群中配置master节点的步骤,包括hdfs-site.xml、core-site.xml、yarn-site.xml、mapred-site.xml的修改以及slaves文件的设置。此外,还介绍了如何克隆和配置slave1及slave2节点的IP、hostname和Hadoop配置。
摘要由CSDN通过智能技术生成

之前的文章中我们已经将master节点的网络IP、hostname文件、hosts文件配置完成,接下来还有hadoop相关配置文件需要修改。今天我们来讲master节点hadoop的配置。

1、hdfs-site.xml

在hadoop的配置文件中与HDFS(hadoop分布式文件系统)相关的是hdfs-core.xml文件。在伪分布集群中只有一个节点,因此此节点即要有NameNode功能也要有DataNode功能。在工作环境中这两个是不会在一个节点上的,在我们的多节点分布式集群中master只运行NameNode因此需在hdfs-site.xml文件中删除DataNode相关配置。

打开虚拟机在终端中输入cd hadoop/etc/hadoop 命令进入hadoop配置文件目录。

2b9614e72f73dbce3dea52c4c634053f.png

终端输入命令vim hdfs-site.xml进入vim编辑界面,按下图步骤删除原来伪分布集群配置的DataNode相关配置,并将数据冗余数量设置为2。

a145440386bde2254aaff9af057608d3.png

输入i进入编辑模式,编辑后的文件内容如下所示。

407550299a18ca73e9e7955d8b63c13e.png

最后退出编辑模式,保存并退出。

2、core-site.xml

在core-site.xml中指定一个节点运行hdfs服务。在之前伪分布集群中只有一个节点,因此我们使用的是localhost,如今在集群中有三个节点,我们约定使用master。

在终端中输入vim core-site.xml按下图操作修改配置文件。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值