![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 81
帕特里克的光
这个作者很懒,什么都没留下…
展开
-
HDFS副本丢失与SafeMode问题
hdfs fsck / 后面的路径是指定检查哪个目录下有无效块,根据丢失文件目录可以细化,以提高检查速度 该命令会返回 FSCK started by hdfs (auth:SIMPLE) from /xxx.xxx.xxx for path / at Fri Jul 26 14:37:29 CST 2019 … … … … … /…/c9ddcb18-51c0-4fa7-bdab-daa5079bc094/rdd-1061487/_partitioner: Under replicated B转载 2021-07-13 11:23:43 · 370 阅读 · 0 评论 -
大数据平台之HDFS性能调优(转)
大数据平台之HDFS性能调优(转) HDFS读写流程 1、写流程 1、客户端向NameNode发起请求,需要存储数据Data 2、因为NameNode中是记录了所有DataNode的相关信息的,而数据最终要保存的地方就是DataNode,所以NameNode会返回可用的DataNode的信息给客户端 3、将Data分为1和2这两个数据块 4、客户端会将数据块存储到NameNode返回给他的DataNode1中去 5、因为数据块需要存储多份,所以DataNode之间会相互传输来进行存储 6、DataNode存转载 2021-05-07 15:36:53 · 866 阅读 · 0 评论