hdfs
李思苇
终身程序媛。不忘初心,方得始终。
展开
-
Hadoop HDFS本地存储目录结构解析
转自:opensure https://blog.csdn.net/opensure/article/details/51452058 HDFS metadata以树状结构存储整个HDFS上的文件和目录,以及相应的权限、配额和副本因子(replication factor)等。本文基于Hadoop2.6版本介绍HDFS Namenode本地目录的存储结构和Datanode数据块存储目录结构,...转载 2018-04-10 10:01:56 · 1184 阅读 · 0 评论 -
HDFS写文件的过程
1、副本及存储策略: 保证副本复制时的效率(低延迟和网络性能):多个副本在同一机架上,这样副本复制时效率高。 避免数据丢失:至少一个副本与其它副本在不同的机架上。 2、写文件的网络流量及磁盘空间: 网络流量=磁盘空间=文件size*dfs.replication 3、写数据的流程 * client将文件file1划分出blocks —— block1、bloc...原创 2018-04-11 11:47:53 · 911 阅读 · 0 评论