CDH3 Hadoop集群摘除节点

原创 2012年03月28日 15:36:33

首先要明确一点,整个过程都是在NameNode上进行的


1. 在NN上的mapred-site.xml hdfs-site.xml中分别取配置mapred.hosts, mapred.hosts.exclude,dfs.hosts,dfs.hosts.exclude;没有exclude的配置所指向的文件中先写入所有的TT,DN节点,而有exclude的配置文件中写入要摘除的节点;写法都是一行一个节点(机器名)

2. sudo -u mapred hadoop mradmin -refreshNodes

3. 此时,exclude中配置的机器已经不能连接到jobtracker上了,也就不能执行任务了,但是这个时候仍旧可以连通NN,用来decomission

4. 执行 sudo -u hdfs hadoop dfsadmin -refreshNodes,这个时候将开始decomission

5. 等所有的待摘除节点都decomissioned之后,我们从include文件中将这些节点删除掉

6. 执行 sudo -u hdfs hadoop dfsadmin -refreshNodes



版权声明:本文为博主原创文章,转载请注明出处,Thanks~

CDH5.X完全卸载步骤

//CDH5.X完全卸载步骤 # by coco # 2015-01-14 1. 关闭集群中的所有服务。  这个可以通过clouder manger 主页关闭集群。 2. 卸载 [...
  • wulantian
  • wulantian
  • 2015年01月14日 10:50
  • 23639

Cloudera CDH新增节点到集群参考步骤

1、新加机器环境配置 首先得在新的主机环境中安装JDK,关闭防火墙、修改selinux、NTP时钟与主机同步、修改hosts、与主机配置ssh免密码登录、保证安装好了perl和python。 2、...
  • BabyFish13
  • BabyFish13
  • 2016年09月20日 17:20
  • 5250

cdh集群节点系统文件损坏,重装系统恢复Hdfs数据

由于意外,集群中的一个节点系统坏了,重装系统后,把该节点添加集群中,恢复hdfs数据。 思路:主要问题是把hdfs的数据恢复,由于hdfs的机制very good,只要把节点从集群中删掉,再添加进集...
  • a822631129
  • a822631129
  • 2017年08月17日 13:45
  • 500

Cloudera CDH增加节点到集群

新增一台机器步骤: 设置所有集群的hosts一样,加入新增的机器 vim /etc/sysconfig/network 修改hostnmae为aaa hostna...
  • ladooz
  • ladooz
  • 2014年05月14日 13:35
  • 4199

HDFS添加删除节点并进行集群平衡

HDFS添加删除节点并进行hdfs balance  方式1:静态添加datanode,停止namenode方式  1.停止namenode  2.修改slaves文件,并更新到各个节点...
  • w13770269691
  • w13770269691
  • 2014年04月25日 14:18
  • 5278

CDH5 添加数据节点

本文介绍如何在CDH Hadoop集群中动态添加数据节点。添加节点之前需要准备好一台新的机器,Linux版本最好跟原有集群中其他机器保持相同,然后便是基本的Hadoop安装之前的配置,如关闭防火墙、开...
  • Post_Yuan
  • Post_Yuan
  • 2017年01月19日 11:18
  • 1809

Cloudera CDH新增节点到集群参考步骤

1、新加机器环境配置 首先得在新的主机环境中安装JDK,关闭防火墙、修改selinux、NTP时钟与主机同步、修改hosts、与主机配置ssh免密码登录、保证安装好了perl和python。 2、...
  • BabyFish13
  • BabyFish13
  • 2016年09月20日 17:20
  • 5250

安装单节点伪分布式 CDH hadoop 集群

原来安装都是三个节点,今天要装个单节点的,装完后 MapReduce 总是不能提交到 YARN,折腾了一下午也没搞定 MR1  中 Job 提交到 JobTracker,在 YARN 中应该提交到 ...
  • Xiaos_hui
  • Xiaos_hui
  • 2014年03月31日 23:38
  • 2722

CDH5实践(三)Cloudera Manager 5卸载步骤

Cloudera Manager 5卸载步骤 转自http://www.jianshu.com/p/d3d5751e7ec5
  • csolo
  • csolo
  • 2016年09月19日 21:52
  • 5214

Cloudera CDH新增节点到集群参考步骤

1、新加机器环境配置 首先得在新的主机环境中安装JDK,关闭防火墙、修改selinux、NTP时钟与主机同步、修改hosts、与主机配置ssh免密码登录、保证安装好了perl和Python。 2、...
  • u012841509
  • u012841509
  • 2017年03月21日 12:24
  • 504
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:CDH3 Hadoop集群摘除节点
举报原因:
原因补充:

(最多只允许输入30个字)