HDFS在clientProtocol中出现的基本概念的抽象

相关的基本抽象概念分为两部分:数据块相关,datanode相关
5.1 数据块相关
1)block:数据块在hdfs中抽象为block,
block的成员变量主要包括:
blockID:数据块唯一标识
numbytes:数据块大小
generationStamp:数据块版本号
没修改一次数据块,它的版本号都会改变,当拥有相同的blockID,不同的版本号的两个数据块,其中有一个需要删除。
数据块的命名为:blk_blockID
2)locatedBlock:已经确定了存储位置的数据块,成员变量包括:
block:数据块
locs:数据库所在节点的位置信息,类型为DatanodeDeInfo的数组,含义为:所有可用数据块的位置信息数组。
数据块在对应文件中的偏移量,
LocatedBlocks:由locateBlock组成的数组,用于批量定位数据块的位置。
BlockLocalPathInfo:当客户端和数据块在同一服务器时,直接本地获取的对象
5.2 datanode相关
Datanode成员变量:
1) datanodeID:datanode的唯一标识,根据这个ID能够湖区数据节点的主机地址
2) datanodeinfo:存储了datanode本身的相关信息,包括:节点的位置信息,剩余量,容量大小等。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值