HDFS
Gerald Kwok
低到尘埃里,才能开出花来。
展开
-
HDFS 文件块的大小
HDFS 文件块的大小 HDFS 中的文件在物理磁盘上是通过分块存储的,块的大小可以通过参数配置(dfs.blocksize)来决定,在 Hadoop >= 2.x 版本中是 128M,老版本是 64M 举个栗子 假如磁盘的寻址时间约为 10ms,即查找到目标 Block 的时间为 10ms 根据规定,寻址时间为传输时间的 1%时,为最佳状态。因此传输时间= 10ms / 0.1 = 1s 若磁盘的传输速率为 100M/s 那么块的大小最佳为 100M。 以上例子都取的大概值,根据测算,机械硬盘中原创 2021-05-24 22:18:46 · 1361 阅读 · 0 评论 -
HDFS 的组成架构
HDFS 的组成架构 NameNode 存储文件的元信息,包括名字、目录、大小等。 管理 HDFS 的名称空间 配置副本策略 管理数据块(Block)映射信息 处理客户端读写请求 DataNode 主要用来存储数据,NameNode 下达命令,DataNode 执行实际的操作。 存储实际的数据块 执行数据块的读写操作 Client 客户端 文件切分,文件上传 HDFS 的时候,Client 将文件切分成一个一个的 Block,一般是 128M,然后进行上传 与 NameNode 交互,获取文件的原创 2021-05-24 21:58:00 · 449 阅读 · 1 评论