第129讲：Hadoop集群管理工具fsck实战详解学习笔记

第129讲：Hadoop集群管理工具fsck实战详解学习笔记

是用检查hdfs具体文件、文件夹的健康状况的。

这个工具帮助我们检查hdfs中文件在datanode中缺失的块及过程或过少的replication复本的内容。

hadoop fsck PATH

会从给定路径循环遍历文件系统中的内容，但此时访问的是namenode，而不是datanode，对于检查过的文件都会打印点。

文件在namenode中是以块的形式存在的，所以获取的是namenode中具体block的元数据的信息，检查和实际集群的配置是否一致。

结果中的over-replicated blocks:复本数超出了指定的复本数。

hdfs在系统运行时会自动删除多余的复本。

under-replicated block：hdfs会自动为这些块创建新的复本。

mis-replicated block:违反了block replication旋转策略的块，如3个复本存在于一个机架上，就可以认定其错误，因为至少要分布在两个不同的机架。

corrupt bolck：损坏的块指所有复本都已损坏。

Missing replicas: 集群中没有任何复本的块。

corrupt bolck和Missing replicas是最需要关注的。这种情况下数据已丢失。默认情况下hdfs不会对这两种块进行任何操作。但我们可以执行一些操作如move，可以把受影响的文件移动到hdfs的根目录中的/lost+found中。

-delete  删除

检查结果中每一个块占用一行信息。

 

以上内容是王家林老师DT大数据梦工厂《Hadoop深入浅出实战经典》第129讲的学习笔记。
王家林：Spark、Flink、Docker、Android技术中国区布道师。Spark亚太研究院院长和首席专家，DT大数据梦工厂创始人，Android软硬整合源码级专家，英语发音魔术师，健身狂热爱好者。

微信公众账号：DT_Spark

联系邮箱18610086859@126.com 

电话：18610086859

QQ:1740415547

微信号：18610086859  

新浪微博：ilovepains

王家林的第一个中国梦：免费为全社会培养100万名优秀的大数据从业人员！

可以通过王家林老师的微信号18610086859发红包捐助，目前已经发布的王家林免费视频全集如下：

1，《大数据不眠夜：Spark内核天机解密（共100讲）》：http://pan.baidu.com/s/1eQsHZAq  

2，《Hadoop深入浅出实战经典》 http://pan.baidu.com/s/1mgpfRPu 

3，《Spark纯实战公益大讲坛》 http://pan.baidu.com/s/1jGpNGwu 
4，《Scala深入浅出实战经典》 http://pan.baidu.com/s/1sjDWG25 
5，《Docker公益大讲坛》 http://pan.baidu.com/s/1kTpL8UF 
6，《Spark亚太研究院Spark公益大讲堂》 http://pan.baidu.com/s/1i30Ewsd 

7，Spark实战高手之路全部六阶段视频：http://edu.51cto.com/pack/view/id-144.html

8，《大数据Spark企业级实战》购买http://item.jd.com/11622851.html

 

第129讲视频网站地址：

51CTO

http://edu.51cto.com/lesson/id-78238.html

转载于:https://www.cnblogs.com/richard1023/p/4966778.html