【HDFS】 双Buffer数据结构:EditsDoubleBuffer

171 篇文章 148 订阅 ¥29.90 ¥99.00
HDFS采用双Buffer(EditsDoubleBuffer)优化NameNode元数据持久化,通过分段加锁减少I/O操作提高并发吞吐量。bufCurrent用于写入新edits log,bufReady用于读取并同步到磁盘和JournalNodes,避免锁内I/O,提升性能。
摘要由CSDN通过智能技术生成

缓冲(Buffer)机制是对数据持久化的延迟,以减少不必要的IO,从而提高数据落盘的效率。
一般需要使用双缓冲区的地方都是由于“生产者”和“消费者”供需不一致所造成的。
两个缓冲区可以交换,互相变成对方的角色。

HDFS引入双Buffer的背景及带来的收益

每次客户端的RPC请求NameNode修改一条元数据,都要写edits log。
为了保证元数据的可靠性,防止在断电的时候元数据错乱。HDFS会把edits log持久化到后端存储设备后才给客户端返回RPC响应。

另外HDFS NameNode的设计目标是能够高并发地处理来自客户端RPC请求。因此一定会有多线程同时操作共享资源,那这里就会涉及到线程安全问题。

NameNode在写edits log时,需要保证每条edits log都有一个全局顺序递增的transaction Id(简称为txid),这样才可以识别每一条edits log的先后顺序。要保证每条edits log的txid都是递增的,就必须得加锁。

多个线程修改了元数据,要写描述自己操作的edits log的时候,都必须排队获取锁后,生成一个递增的txid,代表这次要写的edits log的序号。

试想一下,如果每次都在一个加锁的代码块里做下面的操作,那性能会有多糟糕:


                
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

叹了口丶气

觉得有收获就支持一下吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值