brpc源码学习（五）-IOBuf

目录

Block

BlockRef

IOBuf

主要api

tls优化

IOPortal

protobuf接口

---

首先放上官方介绍：

brpc使用butil::IOBuf作为一些协议中的附件或http body的数据结构，它是一种非连续零拷贝缓冲，在其他项目中得到了验证并有出色的性能。IOBuf的接口和std::string类似，但不相同。

以及官方ppt的这张图

从上到下结构分别为IOBuf，BlockRef和Block。

 

Block

首先看下Block的结构，block就是一段内存，默认大小为8k，负责数据的实际存储。size表示使用了多少内存，cap为这段内存的容量，数据存储在data，portal_next指向在链表结构下的一块block。

创建一个block的接口为create_block，blockmem_allocate即为malloc，申请到8k内存mem后，在mem上调用placement new，因为block本身也占用了内存，因此实际数据存储data指向mem + sizeof(Block)，容量大小为8k-sizeof(Block)。block的写入永远是追加写，不会修改已写入的内容；为了避免全局竞争带来的开销，block引入了tls优化。

block中的nshared字段表示当前block被多少个BlockRef所引用，初始值为1，当block没有被引用时便会被释放。

 

BlockRef

BlockRef引用了一个block，指向了一个block中的一段区域，开始位置为offset，长度为length。

 

IOBuf

然后看下IOBuf，IOBuf本质就是管理了多个BlockRef，IOBuf的主要结构为一个BigView和SmallView的联合体

sv表示两个Ref，而bv表示一个ref数组

 

主要api

然后介绍下IOBuf的主要api。

 

首先是默认构造函数，默认为sv

 

append一个IOBuf，不涉及到实际内存的拷贝，只要push下other的ref即可；遍历other所有的ref，然后调用_push_back_ref

如果当前iobuf为sv，那么调用_push_or_move_back_ref_to_smallview，流程如下：

1. 如果当前iobuf没有ref，那么将sv[0]设置为r，并将r所引用的block进行inc_ref()
2. 如果当前iobuf的ref[1]为空，那么判断ref[0]和r是否可以合并，如果两个ref引用的block一致，且两段区域连续，那么就将r合并到ref[0]上，否则将sv[1]设置为r
3. 如果当前iobuf的ref均不为空，那么尝试合并r到ref[1]，若无法合并，则将当前iobuf由sv转成bv，为bv申请一定量的ref数组，并将r添加到bv中

 

_push_or_move_back_ref_to_bigview则判断r是否能与bv的最后一个合并，若不能，则添加到bv最后。

 

append一个string，此时会涉及内存的拷贝

如果只append一个字符，就会调用push_back()接口，share_tls_block接口是获取到一个未满的block，这个接口后面再说，然后将这个字符加到block中，创建ref并push到当前iobuf中，即完成了append。

如果是append多个字符，那么循环调用share_tls_block得到未满的block，memcpy data到block中，直到拷贝完所有字符。

 

int IOBuf::appendv(const const_iovec* vec, size_t n)

该接口是将n个iovec的数据append到iobuf，和上述原理差不多。

 

对于cut类，pop类接口，原理和append也比较相近，不再赘述。

 

tls优化

然后看下之前提到的tls优化

TLSData就是一个block链表，每个线程有个tls的TLSData，num_blocks表示cache了多少个block，registered表示是否注册了线程退出对tls清理的函数。

然后看下上文提到的share_tls_block

首先是判断当前tls头结点，如果头结点b不是null且未满，那么直接返回b；如果b已经满了，那么将b从tls中移除，dec_ref，并走到b的下一个节点new_block；如果b是null，那么如果没注册线程退出函数就注册下，如果new_block为null，那么通过create_block申请一个block并加入到tls链表中。

 

而acquire_tls_block接口和share_tls_block类似，区别是acquire会将返回的block移除tls，而share不会移除。

release_tls_block，release_tls_block_chain则是将单个/多个block归还tls

这里申请和归还block并不能保证在同一个thread，可能会出现在A线程申请，在B线程归还的场景。

 

IOPortal

然后看下IOPortal，IOPortal是IOBuf的子类，可以从fd中读数据，一般用于和socket的交互

append_from_reader和pappend_from_file_descriptor逻辑差不多，区别是前者使用IReader的ReadV，后者使用系统调用readv或者preadv。

do while循环做的事情是不断申请block，直到这些block剩余空间能够存下max_count的数据；并初始化好iovec，iovec初始化为这些block；然后调用readv或者preadv，最后根据block生成blockref。

 

protobuf接口

最后是基于protobuf的IOBufAsZeroCopyInputStream和IOBufAsZeroCopyOutputStream，继承自google::protobuf::io::ZeroCopyInputStream 和google::protobuf::io::ZeroCopyOutputStream，目的是为了消除用户逻辑同stream交互时发生的拷贝，例如从stream的内存到用户的buf间的拷贝；具体做法为buf的内存不应该由用户逻辑管理，而是由stream来管理；对外暴露两个接口，分别为

bool Next(void** data, int* size)，返回一段可写入的连续内存(*data)，长度为(*size)

void BackUp(int count)，归还不需要使用的内存。

然后解释下next接口：

其实就是申请一个block，然后返回，size为这个block的剩余空间，也因为这样，所以需要acquire来占住整个block。