关闭

CDH3 Hadoop集群摘除节点

标签: hadoop集群include任务
1995人阅读 评论(2) 收藏 举报
分类:

首先要明确一点,整个过程都是在NameNode上进行的


1. 在NN上的mapred-site.xml hdfs-site.xml中分别取配置mapred.hosts, mapred.hosts.exclude,dfs.hosts,dfs.hosts.exclude;没有exclude的配置所指向的文件中先写入所有的TT,DN节点,而有exclude的配置文件中写入要摘除的节点;写法都是一行一个节点(机器名)

2. sudo -u mapred hadoop mradmin -refreshNodes

3. 此时,exclude中配置的机器已经不能连接到jobtracker上了,也就不能执行任务了,但是这个时候仍旧可以连通NN,用来decomission

4. 执行 sudo -u hdfs hadoop dfsadmin -refreshNodes,这个时候将开始decomission

5. 等所有的待摘除节点都decomissioned之后,我们从include文件中将这些节点删除掉

6. 执行 sudo -u hdfs hadoop dfsadmin -refreshNodes



0
0

猜你在找
【直播】机器学习&数据挖掘7周实训--韦玮
【套餐】系统集成项目管理工程师顺利通关--徐朋
【直播】3小时掌握Docker最佳实战-徐西宁
【套餐】机器学习系列套餐(算法+实战)--唐宇迪
【直播】计算机视觉原理及实战--屈教授
【套餐】微信订阅号+服务号Java版 v2.0--翟东平
【直播】机器学习之矩阵--黄博士
【套餐】微信订阅号+服务号Java版 v2.0--翟东平
【直播】机器学习之凸优化--马博士
【套餐】Javascript 设计模式实战--曾亮
查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:702819次
    • 积分:6428
    • 等级:
    • 排名:第3733名
    • 原创:121篇
    • 转载:4篇
    • 译文:49篇
    • 评论:148条
    最新评论