![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HDFS
Gerald Kwok
低到尘埃里,才能开出花来。
展开
-
HDFS 文件块的大小
HDFS 文件块的大小HDFS 中的文件在物理磁盘上是通过分块存储的,块的大小可以通过参数配置(dfs.blocksize)来决定,在 Hadoop >= 2.x 版本中是 128M,老版本是 64M举个栗子假如磁盘的寻址时间约为 10ms,即查找到目标 Block 的时间为 10ms根据规定,寻址时间为传输时间的 1%时,为最佳状态。因此传输时间= 10ms / 0.1 = 1s若磁盘的传输速率为 100M/s那么块的大小最佳为 100M。以上例子都取的大概值,根据测算,机械硬盘中原创 2021-05-24 22:18:46 · 1358 阅读 · 0 评论 -
HDFS 的组成架构
HDFS 的组成架构NameNode存储文件的元信息,包括名字、目录、大小等。管理 HDFS 的名称空间配置副本策略管理数据块(Block)映射信息处理客户端读写请求DataNode主要用来存储数据,NameNode 下达命令,DataNode 执行实际的操作。存储实际的数据块执行数据块的读写操作Client客户端文件切分,文件上传 HDFS 的时候,Client 将文件切分成一个一个的 Block,一般是 128M,然后进行上传与 NameNode 交互,获取文件的原创 2021-05-24 21:58:00 · 448 阅读 · 1 评论