相关的基本抽象概念分为两部分:数据块相关,datanode相关
5.1 数据块相关
1)block:数据块在hdfs中抽象为block,
block的成员变量主要包括:
blockID:数据块唯一标识
numbytes:数据块大小
generationStamp:数据块版本号
没修改一次数据块,它的版本号都会改变,当拥有相同的blockID,不同的版本号的两个数据块,其中有一个需要删除。
数据块的命名为:blk_blockID
2)locatedBlock:已经确定了存储位置的数据块,成员变量包括:
block:数据块
locs:数据库所在节点的位置信息,类型为DatanodeDeInfo的数组,含义为:所有可用数据块的位置信息数组。
数据块在对应文件中的偏移量,
LocatedBlocks:由locateBlock组成的数组,用于批量定位数据块的位置。
BlockLocalPathInfo:当客户端和数据块在同一服务器时,直接本地获取的对象
5.2 datanode相关
Datanode成员变量:
1) datanodeID:datanode的唯一标识,根据这个ID能够湖区数据节点的主机地址
2) datanodeinfo:存储了datanode本身的相关信息,包括:节点的位置信息,剩余量,容量大小等。
HDFS在clientProtocol中出现的基本概念的抽象
最新推荐文章于 2023-04-13 15:19:02 发布