文件I/O选择以及日志设计方案

Unix内核（Linux是类Unix操作系统）不区分文本文件和二进制文件，但仍存在二进制I/O（ fwrite()和fread() ），其相较一次一个字符或一次一行的方式，可实现一次读或写一个完整的数据结构。

一、不带缓冲文件I/O

Unix环境高级编程3rd 第3章

术语不带缓冲指的是每次 read 和 write 都调用内核中的一个系统调用。

        open(), read(), write(), ……  使用文件描述符

用 20 种不同的缓冲区长度 ， 读 516 581 760 字节的文件所得到的结果：（ Linux ext4 文件系统， 磁盘块长度为 4 096 字节）

可见buffsize达到磁盘块长度时，系统CPU时间均不再随着buffsize的增大而减小，用户CPU时间类似。

  

二、带缓冲文件I/O（标准I/O）

Unix环境高级编程3rd 第5章

两次拷贝：在用户程序中的行缓冲区与标准 I/O缓冲区之间，在内核与标准 I/O缓冲区之间。

        全缓冲：在填满标准I/O缓冲区后才进行实际I/O操作。
        行缓冲：遇到换行符 or 缓冲满。
        不带缓冲：不对字符进行缓冲存储。

提示：任何时候，都可使用 fflush() 强制冲洗一个流。如果程序运行过程崩溃，或者程序正常退出前没有fflush()，缓冲里的内容就将被丢失。

        fopen(), fclose(),  **get**(), **put**(), fwrite(), fread(), ……, printf等格式化I/O。

        用一个流与文件相关联

可见，系统 CPU 时间几乎相同，所以用户 CPU 时间的差别以及等待 I/O结束所消耗时间的差别造成了时钟时间的差别。也就是在用户 CPU 时间层级，除了单字节读写，标准I/O相较不带缓冲的read和write函数要慢。

标准I/O增速替代：fio(3) 和 sfio

  

三、实践——日志

写日志的首要前提是不能阻塞当前调用线程，因此肯定不能直接使用不带缓冲的文件I/O（以防读写磁盘时卡顿甚至卡死）。对此有两种方案：

[1] 单独开辟一个线程

常见工况是多线程环境，即 multi-producer、single-consumer。

该方案唯一难点就是各个producer并发写时，相互阻塞时长的尽可能缩短，且不覆盖或丢失未来得及写的日志信息。因此需要使用具有队列性质的多线程通信方式，常见的有：message queue, nanomsg(pipeline, fair queues messages), …… 但均并非是lock-free的queues，并且message queue是有message number限制的。而lock-free的queues：

 1) boost::lockfree::queue

Examples - 1.77.0

 2) github有一个名叫ConcurrentQueue的开源项目，是lock-free的queues，并且message number可以动态分配。

https://github.com/cameron314/concurrentqueue

A Fast General Purpose Lock-Free Queue for C++

  

[2] 使用存储映射文件 mmap()

仅需在拷贝内存时加互斥锁，时间实测能够达到高效需求，与方案一差距甚微。

该方案唯一缺陷是，实际写长度最终需要用 ftruncate()保持一致，并且要用msync()将已修改页冲洗到被映射的文件中。如果程序运行过程崩溃，显然就不能保证使用 ftruncate()同步文件大小，将导致文件无法使用。

  

以上不深究具体的内容格式。比如是按文本字符串记录还是二进制，是否使用protobuf封装等，具体结合实际项目需求进行选择。

  

郑重提示：①本文不允许转载，若认可本文，可点赞收藏关注。

                  ②若有疑问，可在评论区留言相互讨论。