CM集群管理注意事项

原创 2018年04月17日 10:59:13

一.节点下线:

出先问题:大批量丢死块(2000多个)

原因:下线节点的时候一块下了10个节点。

解决办法:3个副本下线机器的时候最好2台2台的下,还要看nn(50070主页面)页面上的进度,到0了以后在删除节点。


文本解释:

Decommission Datanode就是把Datanode从HDFS集群中移除掉。 

Datanode是存储实际数据的,因此在Decommission Datanode的时候需要把Datanode上的数据迁移到别的机器上。下线的时候Datanode会有以下操作,1:计算块信息 2:删除块 3:copy块 4:校验块信息

操作步骤 
1:在Namenode上,把需要Decommission的Datanode的机器名加入到dfs.hosts.exclude(该配置项在hdfs-site.xml)所指定文件中,也就是告诉Namenode哪些Datanode要被Decommission。 
如果hdfs-site.xml没有找到dfs.hosts.exclude,那么就手动把下面内容加入到hdfs-site.xml中,然后把需要Decommission的机器写到文件/etc/hadoop/conf/dfs.exclude中去。

<property> 
<name>dfs.hosts.exclude</name> 
<value>/etc/hadoop/conf/dfs.exclude</value> 
</property>

exclude 例子: pslave1 pslave2 pslave3

2 . 用如下命令启动Decommission:

hdfs dfsadmin -refreshNodes

刷新后在hfs页面可以看见 Decommission In Progress 的节点

hadoop dfsadmin -report:也可以查看

note:如果加速下线 可以把块的复制个数减少


修改CM管理主机IP

转自:http://www.aichengxu.com/diannao/37833.htm 修改CM管理主机IP(CDH5.0集群IP更改),有需要的朋友可以参考下。 在一个项目部署过程中...
  • qq_19917081
  • qq_19917081
  • 2017-02-08 17:40:32
  • 309

CDH Hadoop CM方式安装

CDH Hadoop安装 (基于Cloudera Manager半在线方式) 1 CM简介 Cloudera Manager是一个端到端的管理CDH集群的工具。它通过管理CDH集群(组件安装、服务管理...
  • shenliang1985
  • shenliang1985
  • 2016-01-05 10:46:21
  • 7635

ORACLE集群管理

  • 2011年03月08日 22:01
  • 15.83MB
  • 下载

zookeeper--分布式集群管理

背景    前段时间看了S4流计算引擎,里面使用到了zookeeper进行集群管理,所以也就花了点时间研究了下zookeeper,不求看懂所有源码,但求了解其实现机制和原理,清楚其基本使用。这也...
  • gladmustang
  • gladmustang
  • 2014-12-15 12:40:09
  • 2238

集群管理

集群管理 应用集群中,我们常常需要让每一个机器知道集群中(或依赖的其他某一个集群)哪些机器是活着的,并且在集群机器因为宕机,网络断链等原因能够不在人工介入的情况下迅速通知到每一个机器。 Zo...
  • tycoon1988
  • tycoon1988
  • 2014-08-01 11:27:46
  • 852

ZooKeeper之(五)集群管理

在一台机器上运营一个ZooKeeper实例,称之为单机(Standalone)模式。单机模式有个致命的缺陷,一旦唯一的实例挂了,依赖ZooKeeper的应用全得完蛋。实际应用当中,一般都是采用集群模式...
  • u012152619
  • u012152619
  • 2016-10-27 09:23:52
  • 1311

5.50 CM可用金手指

  • 2011年10月14日 12:18
  • 4.1MB
  • 下载

zookeeper集群管理

zookeeper介绍 zookeeper是一个为分布式应用提供一致性服务的软件,它是开源的Hadoop项目中的一个子项目,并且根据google发表的论文来实现的,接下来我们首先来安装使用下这个软件...
  • p656456564545
  • p656456564545
  • 2016-12-28 13:21:49
  • 657

MongoDB集群管理要点

备份要点 对 Sharded cluster 进行备份时,需要先关闭 Balancer,避免备份出来 shard、config server 数据出现不一致。 movePrimary要点 mo...
  • wangkai_123456
  • wangkai_123456
  • 2016-11-26 17:32:35
  • 334

脉冲云集群管理

脉冲云集群管理实操说明。
  • m371047623
  • m371047623
  • 2017-06-01 11:35:56
  • 174
收藏助手
不良信息举报
您举报文章:CM集群管理注意事项
举报原因:
原因补充:

(最多只允许输入30个字)