在看HDFS Editlog写机制中提到了双缓冲机制
针对写入本地磁盘文件,大量客户端同时写会导致写入本地磁盘文件时出现多线程安全问题,HDFS如何保证安全呢?
两个方面
- 对每个写入的edits log分配一个全局顺序递增的transactionid(txid),基于这个序号可以标识每个edits log的先后顺序。
- 针对txid,要保证全局顺序一致,就要加锁保证安全,也就是每个修改元数据的线程都要先拿到锁然后生成txid才能写入edits log
流程:
其他使用场景
(1)逻辑处理和I/O处理分离
在网络应用服务器端, 为了性能和防止阻塞, 经常会把逻辑处理和I/O处理分离。I/O网络线程处理I/O事件: 数据包的接收和发送, 连接的建立和维护等。逻辑线程要对收到的数据包进行逻辑处理.
通常网络线程和逻辑线程之间是通过数据包队列来交换信息, 简单来说就是一个生产者-消费者模式.这个队列是多个线程在共享访问必须加锁, 意味着每次访问都要加锁。如何更好的如何减少锁竞争次数呢 ?
这时就可以利用双缓冲消息队列:
两个队列,一个给逻辑线程读,一个给IO线程用来写,当逻辑线程读完队列后会将自己的队列与IO线程的队列相调换。
IO线程每次写队列时都要加锁,逻辑线程在调换队列时也需要加锁,但逻辑线程在读队列时是不需要加锁的.
(2)日志记录
当对同一个文本进行单线程的去写时,经常会使用简单lock锁来保证只有一个线程来写入日志信息。但是在多线程的去写日志信息的时候,由于记录日志信息是需要进行I/O交互的,导致我们占用锁的时间会加长,从而导致大量线程的阻塞与等待。
我们该怎么利用这双缓冲队列来完成我们想要的效果呢?
当有多个线程来写日志的时候,这个时候我们要这些要写的信息先放到我们负责写入的队列当中,然后将逻辑读的线程设为非阻塞。此时逻辑读的线程就可以开始工作了。(一开始时逻辑读的队列是空的)在当逻辑读的线程读取他自己队列的数据(并执行一些逻辑)之后,将逻辑读的队列的引用和负责写入的队列进行引用交换。
注意点:
队列缓冲区的大小要根据数据量的大小进行调整的,如果缓冲区很小,就能更及时的处理数据,但吞吐量以及出现资源竞争的几率大多了。
可以给缓冲队列设置最大上限,超过上限的数量之后,将包丢弃不插入队列。
另外,双缓冲的实现也有不同策略的,
一是读操作优先,就是生产者只要发现空闲缓冲,马上swap,
二是写线程只有在当前的缓冲区写满了,才进行swap操作。
三是上层逻辑按照帧率来处理,每一帧的时候将双层缓冲队列调换一下,取一个队列来处理即可.