CDH3 Hadoop集群摘除节点

原创 2012年03月28日 15:36:33

首先要明确一点,整个过程都是在NameNode上进行的


1. 在NN上的mapred-site.xml hdfs-site.xml中分别取配置mapred.hosts, mapred.hosts.exclude,dfs.hosts,dfs.hosts.exclude;没有exclude的配置所指向的文件中先写入所有的TT,DN节点,而有exclude的配置文件中写入要摘除的节点;写法都是一行一个节点(机器名)

2. sudo -u mapred hadoop mradmin -refreshNodes

3. 此时,exclude中配置的机器已经不能连接到jobtracker上了,也就不能执行任务了,但是这个时候仍旧可以连通NN,用来decomission

4. 执行 sudo -u hdfs hadoop dfsadmin -refreshNodes,这个时候将开始decomission

5. 等所有的待摘除节点都decomissioned之后,我们从include文件中将这些节点删除掉

6. 执行 sudo -u hdfs hadoop dfsadmin -refreshNodes



版权声明:本文为博主原创文章,转载请注明出处,Thanks~

相关文章推荐

CDH5.X完全卸载步骤

//CDH5.X完全卸载步骤 # by coco # 2015-01-14 1. 关闭集群中的所有服务。  这个可以通过clouder manger 主页关闭集群。 2. 卸载 [...

CDH5 添加数据节点

本文介绍如何在CDH Hadoop集群中动态添加数据节点。添加节点之前需要准备好一台新的机器,Linux版本最好跟原有集群中其他机器保持相同,然后便是基本的Hadoop安装之前的配置,如关闭防火墙、开...

修改cdh5集群中主机节点IP或hostName

前言  在使用cdh集群过程中,难免会因为某些不可抗拒的原因导致节点IP或hostName变动,而cm的监控界面无法完成这些事情,但是cm将集群中所有的主机的信息都存在postgresql数据库的ho...

搭建5个节点的hadoop集群环境(CDH5)

搭建一个分布式的hadoop集群环境,下面是详细步骤,使用cdh5 。提示:如果还不了解Hadoop的,可以下查看这篇文章Hadoop生态系统,通过这篇文章,我们可以首先大致了解Hadoop及Hado...

CDH_5.4.9_hadoop集群搭建方法

  • 2016年05月23日 11:20
  • 356KB
  • 下载

Cloudera Manager 5 和 CDH5 本地(离线)安装指南(Hadoop集群搭建)(转载)

 6条回复 转载请注明出处:http://www.wangyongkui.com/hadoop-cdh5。 系统环境 4台联想R510服务器,其中master节点4核心...

CDH5 Hadoop集群完全离线安装说明

  • 2017年08月14日 17:58
  • 1.57MB
  • 下载

CDH5 Hadoop集群完全离线安装步骤总结

https://www.zybuluo.com/sasaki/note/242142 版本控制 @Title CDH5 Hadoop集群完全离线安装步骤总结 ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:CDH3 Hadoop集群摘除节点
举报原因:
原因补充:

(最多只允许输入30个字)