双缓冲机制

在看HDFS Editlog写机制中提到了双缓冲机制

针对写入本地磁盘文件，大量客户端同时写会导致写入本地磁盘文件时出现多线程安全问题，HDFS如何保证安全呢？

两个方面

• 对每个写入的edits log分配一个全局顺序递增的transactionid(txid),基于这个序号可以标识每个edits log的先后顺序。
• 针对txid,要保证全局顺序一致，就要加锁保证安全，也就是每个修改元数据的线程都要先拿到锁然后生成txid才能写入edits log

流程： 

 

其他使用场景

（1）逻辑处理和I/O处理分离

在网络应用服务器端, 为了性能和防止阻塞, 经常会把逻辑处理和I/O处理分离。I/O网络线程处理I/O事件: 数据包的接收和发送, 连接的建立和维护等。逻辑线程要对收到的数据包进行逻辑处理.
 
通常网络线程和逻辑线程之间是通过数据包队列来交换信息, 简单来说就是一个生产者-消费者模式.这个队列是多个线程在共享访问必须加锁, 意味着每次访问都要加锁。如何更好的如何减少锁竞争次数呢 ?

这时就可以利用双缓冲消息队列:
两个队列，一个给逻辑线程读，一个给IO线程用来写，当逻辑线程读完队列后会将自己的队列与IO线程的队列相调换。
IO线程每次写队列时都要加锁，逻辑线程在调换队列时也需要加锁，但逻辑线程在读队列时是不需要加锁的.

（2）日志记录

当对同一个文本进行单线程的去写时，经常会使用简单lock锁来保证只有一个线程来写入日志信息。但是在多线程的去写日志信息的时候，由于记录日志信息是需要进行I/O交互的，导致我们占用锁的时间会加长，从而导致大量线程的阻塞与等待。

　　　我们该怎么利用这双缓冲队列来完成我们想要的效果呢？

　　当有多个线程来写日志的时候，这个时候我们要这些要写的信息先放到我们负责写入的队列当中，然后将逻辑读的线程设为非阻塞。此时逻辑读的线程就可以开始工作了。（一开始时逻辑读的队列是空的）在当逻辑读的线程读取他自己队列的数据（并执行一些逻辑）之后，将逻辑读的队列的引用和负责写入的队列进行引用交换。

注意点：

队列缓冲区的大小要根据数据量的大小进行调整的，如果缓冲区很小，就能更及时的处理数据，但吞吐量以及出现资源竞争的几率大多了。
可以给缓冲队列设置最大上限，超过上限的数量之后，将包丢弃不插入队列。
另外，双缓冲的实现也有不同策略的，
 一是读操作优先，就是生产者只要发现空闲缓冲，马上swap，
 二是写线程只有在当前的缓冲区写满了，才进行swap操作。
 三是上层逻辑按照帧率来处理，每一帧的时候将双层缓冲队列调换一下，取一个队列来处理即可.