hadoop 配置文件 masters 以及 namenode, jobtracker, secondary namenode

hadoop配置文件里面有一个是masters 和slaves,从字面意思来理解的话呢就是masters设置运行namenode,和jobtracker的结点,其实不然啊!!

今天看了HADOOP the definitive guid 第二版的影印版,在配置hadoop集群中介绍到,其实,masters设置的是运行secondary namenode的结点,并且可以在masters里面设置多个结点来运行secondary namenode。

那哪个是主机呢,里面有一段原文是这样的: You don't need to specify which machine(or machines) the namenode and jobtracker runs on in the masters file,as this is determined by the machine the scripts run on.(page-268) 。什么意思呢,就是,你在哪个机器上执行了scripts(就是控制hadoop的命令,start-*.sh),哪个就是master。

start-dfs.sh命令的功能

1.在本机器(即执行此命令的机器)启动namenode

2.在slaves文件里所列出的所有结点上启动datanode

3.在masters文件里所列出的所有结点上启动secondary namenode

start-mapred.sh命令的功能

1.在本机器启动jobtracker

2.在slaves文件里所列出的所有结点上启动一个tasktracker


namenode 和 jobtracker 可以分开在独立的结点上运行,start-dfs.sh命令在哪个结点执行,则namenode就在这个结点运行,同样,可以在另外一个结点执行start-mapred.sh则jobtracker就在那个结点执行

Hadoop集群的配置文件中删除Namenode的配置,通常涉及编辑`core-site.xml`和`hdfs-site.xml`这两个文件。这些文件包含了Hadoop集群的核心配置和HDFS(Hadoop Distributed File System)的配置。下面是一般步骤: 1. 打开`core-site.xml`文件,找到与Namenode相关的配置项。这可能包括fs.defaultFS的值设置为Namenode主机名和端口,例如: ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://namenode_host:port</value> </property> </configuration> ``` 删除或者注释掉这些配置项(在xml中注释是通过添加`<!--`和`-->`)。 2. 打开`hdfs-site.xml`文件,查找与Namenode相关的配置项。这可能包括Namenode主机名、端口、数据目录等配置: ```xml <configuration> <property> <name>dfs.namenode.name.dir</name> <value>file://path/to/namenode/directory</value> </property> <property> <name>dfs.namenode.http-bind-host</name> <value>namenode_host</value> </property> <property> <name>dfs.namenode.secondary.http-bind-host</name> <value>secondary_namenode_host</value> </property> </configuration> ``` 删除或注释掉这些配置项。 3. 如果你使用的是高可用性(HA)的Hadoop集群,可能还需要编辑`yarn-site.xml`和`mapred-site.xml`文件,移除与Namenode相关的配置。 4. 修改完配置文件后,需要重启Hadoop集群以使配置生效。 请注意,在进行这些操作之前,确保你已经知道如何备份和恢复这些配置,以防止意外情况导致集群无法访问。另外,了解集群的状态和结构是非常重要的,以便知道删除Namenode配置的影响。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值