hdfs集群数据迁移/DataNode节点维护/集群重命名--小结

一 hdfs集群数据迁移–Distcp工具使用
假设我们想要把集群A的数据迁移到集群B中，首先我们要查看下集群A的NameNode界面上面是否有丢失块或者损坏快等信息，如果存在，首先用hadoop fsck 工具修复数据块,并且在随后迁移的过程中也要一直进行这个查找修复数据块的操作,随后可以用一下数据进行数据迁移操作，不过这里要根据集群A的是否静态还是动态分两种情况。
情况1：假设集群A是静态集群，也就是集群A的数据是固定不变的，那么直接用Distcp把顶级目录迁移到集群B即可
情况2：假设集群A的数据是动态变化的，那么我们可以先对集群A的目录进行一次快照操作，并把这次快照利用Distcp命令同步到集群B中，同步完后，再次对集群A的目录进行快照操作，不过随后可以利用Distcp的–delete --update的命令只同步增量变化的文件到集群B中，不断重复这个过程，直到集群B的数据和集群A的数据相同为止
二.DataNode节点维护操作
1.当我们想对某个DataNode进行比如一些短暂的停机维护操作时(不需要改变ip地址)，为了防止集群中大量的块复制操作，我们只要能够在Namenode的心跳检测时间内完成DataNode的维护操作并启动节点即可，所以我们可以调整dfs.namenode.heartbeat.recheck-interval参数的数值适当增加心跳超时的配置
2.切换DataNode的ip的情况，停止DataNode节点，修改ip地址，然后启动DataNode即可，只要我们能及时的启动切换ip后的DataNode服务，整个集群的块复制操作就会极少，对集群的影响也很小,其实这种情况和新增另一个带有数据的DataNode相似，当集群发现原来ip的DataNode不可用时，集群准备开始进行数据块的拷贝操作，此时当加入了新ip带有数据块的DataNode时，集群发现这些数据块不需要在拷贝了，每个数据块的副本数直接满足要求了
三.集群的重命名操作
3.1首先停机集群：包括hdfs，yarn等服务
3.2 修改配置文件：
a. core.xml文件中的fs.defaultFS的属性值
b. yarn-site.xml文件中应用配置属性存放于hdfs的位置属性值：yarn.resourcemanager.fs.state-store.url的属性值
c. hdfs-site.xml文件中和namenode相关的属性值
3.3 重新格式化Hdfs所使用的Zookeeper的节点值(hdfs -zkfc formatZK),原因是hdfs会在zk上创建以集群名称命名的znode.

参考书籍:
深度剖析hadoop hdfs