HDFS
分布式文件系统
大大大大大大。@
这个作者很懒,什么都没留下…
展开
-
HDFS DataNode工作机制
HDFS DataNode工作机制。原创 2022-09-20 15:24:04 · 204 阅读 · 0 评论 -
HDFS NameNode元数据的存储方式和工作机制
NameNode元数据的存储方式元数据的存储方式在物理上是以内存+磁盘的形式存储的,是通过FsImage和Edits合并形成元数据原创 2022-09-20 11:45:52 · 999 阅读 · 0 评论 -
HDFS读写流程(重要)
HDFS写流程 1. 首先客户通过DFS,向NameNode发起写请求 2. NameNode进行校验,查看客户端是否有权限以及写路径是否存在 3. 校验成功,NameNode响应客户端,可以上传文件 4. 客户端请求上传第一个block,等待NameNode响应上传到哪个dataNode原创 2022-09-20 10:33:25 · 375 阅读 · 0 评论 -
HDFS块大小计算
block默认大小在2.x/3.x是128M,在1.x是64M假如集群中有n个文件块,如果寻址的时间约为10ms,既查找到目标block的时间为10ms,寻址时间为传输时间的1%,则为最佳状态。因此传输时间为10ms/0.01=1000ms=1s,目前磁盘的传输速率为100MB/s.文件块大小为 磁盘的传输速率x传输时间。文件块大小=1s*100MB/s=100MHDFS块大小的设置主要取决于磁盘的传输速率。原创 2022-09-19 16:56:56 · 752 阅读 · 0 评论