【muduo】关于自动增长的缓冲区

最新推荐文章于 2024-05-04 04:59:47 发布

爱吃芝麻球

最新推荐文章于 2024-05-04 04:59:47 发布

阅读量381

点赞数

文章标签：服务器

本文链接：https://blog.csdn.net/ccw_922/article/details/132252429

版权

为什么需要缓冲区

Non-blocking IO 的核心思想是避免阻塞在 read() 或 write() 或其他 IO 系统调
用上，所以应用层的缓冲是必须的，每个 TCP socket 都要有 input buffer
和 output buffer。

自动增长的缓冲区

一方面希望减少系统调用，所以缓冲区越大越好
另一方面希望减少内存占用，如果缓冲区很大而连接很多，将会占用大量内存空间。而大多数时候缓冲区的使用率又很低。

buffer数据结构

在这里插入图片描述

buffer类

Muduo Buffer的size()是自适应的，一开始的初始值是1k。

抽取相关代码：

class Buffer:public muduo::copyable{
 public:
  static const size_t kCheapPrepend = 8;
  static const size_t kInitialSize = 1024;

  explicit Buffer(size_t initialSize = kInitialSize)
    : buffer_(kCheapPrepend + initialSize),
      readerIndex_(kCheapPrepend),
      writerIndex_(kCheapPrepend){...}
      ...
      
      std::vector<char> buffer_;
}

vector数组，保证了可以扩展，初始化了1k可用空间，并在头部预留了1Byte。

具体做法是，在栈上准备一个 65536 字节的 extrabuf，然后利用 readv() 来读取数据。
iovec 有两块，第一块指向muduo Buffer 中的 writable 字节，另一块指向栈上的 stackbuf。
这样如果读入的数据不多，那么全部都读到Buffer 中去了；如果长度超过 Buffer 的 writable 字节数，就会读到栈上的 extrabuf 里，然后程序再把extrabuf 里的数据 append 到 Buffer 中。

这么做利用了临时栈上空间，避免开巨大 Buffer 造成的内存浪费，也避免反复调用 read() 的系统开销（通常一次 readv()系统调用就能读完全部数据）。

代码相关实现：Buffer::readFd()

ssize_t Buffer::readFd(int fd, int* savedErrno)
{
  // saved an ioctl()/FIONREAD call to tell how much to read
  char extrabuf[65536];
  struct iovec vec[2];
  const size_t writable = writableBytes();
  vec[0].iov_base = begin()+writerIndex_;
  vec[0].iov_len = writable;
  vec[1].iov_base = extrabuf;
  vec[1].iov_len = sizeof extrabuf;
  // when there is enough space in this buffer, don't read into extrabuf.
  // when extrabuf is used, we read 128k-1 bytes at most.
  const int iovcnt = (writable < sizeof extrabuf) ? 2 : 1;
  const ssize_t n = sockets::readv(fd, vec, iovcnt);
  if (n < 0)
  {
    *savedErrno = errno;
  }
  else if (implicit_cast<size_t>(n) <= writable)
  {
    writerIndex_ += n;
  }
  else
  {
    writerIndex_ = buffer_.size();
    append(extrabuf, n - writable);
  }
  return n;
}

首先写buffer，写不下的写extrabuf，然后把extrabuf的写入buffer，具体函数是append。

  void append(const char* /*restrict*/ data, size_t len)
  {
    ensureWritableBytes(len);
    std::copy(data, data+len, beginWrite());
    hasWritten(len);
  }