linux文件——用户缓冲区——概念深度理解、IO模拟实现

打鱼又晒网

于 2024-08-22 11:43:53 发布

阅读量1.1k

点赞数 65

分类专栏： Linux 文章标签： linux 运维服务器后端操作系统

本文链接：https://blog.csdn.net/strive_mianyang/article/details/141368579

版权

Linux 专栏收录该内容

19 篇文章 2 订阅

订阅专栏

前言：本篇文章主要讲解文件缓冲区。讲解的方式是通过抛出问题，然后通过分析问题，将缓冲区的概念与原理一步一步地讲解。同时，本节内容在最后一部分还会带友友们模拟实现一下c语言的printf， fprintf接口，加深友友们对于缓冲区的理解。

ps：本节内容适合了解linux进程和linux文件重定向的友友们进行观看。

缓冲区概念——使用close引出

讲述缓冲区，我们需要先看一下下面的接口：

对于上面的接口，我们可以预测一下——就是打印4行内容，分别是hello printf、hello fprintf、hello fwrite、hello write：

如图，代码运行结果符合我们的预期。对于上面的代码我们知道，对于c语言的接口， stdoutFILE文件流里面就封装了1号文件描述符。他们的底层一定是调用了write函数。

对于上面的函数，我们重定向到文件是这样，和直接在显示器上面输出是一样的。

但是，如果加上close（1），将显示器文件关闭，那么情况就有些不同了，下面是有\n的:

下面是没有\n的：

如果没有了\n，对于c语言的打印接口，就不能输出了。

如下图，只输出了系统调用write:

我们知道对于上面printf、fprintf、fwrite来说，这三个是c语言接口，他们的底层一定是封装的write接口。这就有问题了， 为什么printf、fprintf、fwrite的底层是write，而write能够打印数据， printf、fprintf、fwrite都不能打印数据呢？

友友们如果学习过进度条，那么就会知道一个缓冲区的概念。这个缓冲区遇到\n或者缓冲区满了之后就会刷新自己。

一般情况下，我们使用printf、fprintf、fwrite不是直接写向显示器，而是先写向缓冲区。等到遇到\n或者缓冲区满了之后再刷新缓冲区，将数据刷新到缓冲区。

也就是说，对于上面的这个代码来说，当程序运行到close(1)前一行， 那么数据就已经写到缓冲区了。只是这个缓冲区一定不在操作系统内部，这个缓冲区不是系统级别的缓冲区！！！

具体的底层逻辑关系如下:

我们使用的c语言接口的时候，如果是将数据直接拷贝到了系统级别的缓冲区中，那么等到close(1)的时候，这个close（1）就能找到对应的文件struct file，然后找到对应的系统级别的文件缓冲区，将缓冲区内容刷新到磁盘里面。也就是说，如果c语言接口是将数据只拷贝到系统级别的缓冲区，那么我们应该也能看到c语言接口的结果，而事实上并没有。而write是系统调用接口，是直接写到系统级别的文件缓冲区，那么当close（1）的时候，就能直接将数据刷新到磁盘里面。

我们平时口中的缓冲区，不是这个系统级别的缓冲区，而是语言提供的，这里也就是c语言提供的一个缓冲区，这个缓冲区是一个用户级别的缓冲区。也就是说， c语言的printf， fprintf等接口是将数据写到语言级别的缓冲区中，然后等到某一个时机就调用write接口，将数据刷新到系统级别的缓冲区中，最后再刷新到磁盘中。

所以，当我们printf、fprintf等等的时候，这些数据其实是保存在语言级别的缓冲区，他们还没有进入系统级别的缓冲区，当close（1）的时候。1号文件struct file，系统文件缓冲区都被关掉了。就无法再向磁盘写入数据了，也就没有显示结果。

显示器对应的刷新方案是行刷新，当我们在c语言接口要打印的数据中加上\n的时候，如下图，那么即便有close(1)，但是对于用户缓冲区来说，每一行都会被刷新到系统级别的文件缓冲区。所以可以打印出来。用户缓冲区刷新的本质就是将数据通过1 + write写到内核中。

exit和用户缓冲区

我们之前说过exit和_exit， exit是封装的上层接口，而_exit是系统调用。两者的区别是_exit退出前不会刷新缓冲区（我们口中的缓冲区，都是用户级缓冲区），而exit会刷新缓冲区（我们口中的缓冲区，都是用户级缓冲区）。这是因为_exit身为系统调用，它在用户层的下层，它根本看不到用户级缓冲区。也就没办法刷新它，而exit处在用户层，它底层一定是先刷新缓冲区flush，然后再调用系统调用_exit。

从上面我的论述中就可以发现，其实当数据到达内核的时候，那么这个数据就可以到达硬件了。 ——这也是我们目前认为的，只要是将数据刷新到了内核，数据就可以到达硬件了！！！

缓冲区刷新方案

缓冲区刷新问题：——这里的缓冲区考虑的是语言层，也就是用户层缓冲区。

无缓冲：直接刷新，不管printf， fprintf等接口打印的数据是什么，直接刷新。
行缓冲：不刷新，直到遇到\n再刷新。
全缓冲：缓冲区满了再刷新，不满的话，无论如何都不刷新。

所以整个的刷新流程如下图:

在向显示器中写入的时候，采用的是行缓冲。

在向普通文件中写入的时候，采用的是全缓冲。

为什么要有用户缓冲区

进程退出的时候也会刷新缓冲区，为什么要有这个缓冲区呢？

首先就是效率层面——这里可以使用一个例子来说明这件事，就比如我们给朋友送东西，如果没有快递公司，我们就必须亲自去送东西给朋友，但是现在有了快递公司，快递公司就可以帮助我们去送快递，我们节省的这些时间就可以去做自己的事情。——这里面的快递公司就是缓冲区，我们就是用户。所以，缓冲区解决的是谁的效率问题？——其实就是用户的效率问题。（也就是使用c语言的人的效率问题）

其次是语言设计层面——拥有缓冲区的目的是为了配合c语言接口：printf，fprintf的输出格式化。——这里我们需要想一个问题，就是我们在显示器上面打印的789，这样的数字，打印的是字符呢？打印的还是数字呢？ ——答案是打印的字符789。也就是说，将789转化成字符7，字符8，字符9，然后再打印到显示器上面。当数据打印的时候，先将数据打印到用户缓冲区。当某个时机的时候，就将用户缓冲区的数据打印到硬件里面。由于这种数据进入，数据流出，很像一条河流，所以用户缓冲区也被叫做流。

FILE

请问， FILE是属于用户呢？还是属于操作系统呢？答案是用户，语言都是属于用户的。

知道这个之后，我们就可以知道，对于fopen来说

如果使用fopen打开了一个文件，那么就会获取这个文件的文件描述符fd。然后再malloc一块内存空间保存在FILE，这个fd和malloc的内存空间都保存在FILE里面！！也就是下面这张图：

fork和缓冲区读写

现在，我这里有另外一个关于fork函数的问题。我们看下面这串代码:

我们生成程序后，将数据重定向到文件中。如果按照我们以往的经验的话，这里我们预测会打印四行内容，分别是hello printf、hello fprintf、hello fwrite、hello write。

但是，我们实际运行的结果如下:

如上图，我们可以发现c语言接口的打印都被打印了两次，只有write系统调用被打印了一次。

这是因为当使用重定向，重定向到了文件之后，缓冲区的刷新方案就变成了全缓冲，遇到\n不再刷新，而是等缓冲区被写满之后才刷新。

那么我们下载来证明一下重定向到文件是全缓冲的

首先我们写下面这个程序；

这个程序如果按照我们的猜想。前三秒不会打印任何数据，这些数据都会被打印到了缓冲区之中。当三秒过后， write会被打印。然后再五秒所有数据才会全部被打印。

我们先打开监视窗口进行观察:

然后运行这个程序，就会得到:

那么这是为什么呢？——首先我们知道，当我们三个c语言接口执行完的时候，数据都被写到了缓冲区中。而缓冲区也是在进程里面的，所以当fork创建子进程后，再刷新缓冲区，而刷新缓冲区就相当于数据的修改，需要进行写时拷贝。所以就有两份缓冲区，两个缓冲区的数据都被刷新后就产生了上面的现象！！！

模拟实现c语言标准库

为了模拟实现c语言的标准库，我们创建三个文件。这里的_my_func.h就相当于stdio.h这样的标准库，而_my_func.c就是用来模拟实现c标准库接口。

我们打开_my_func.h，首先做好预备工作。先让该头文件不可重复包含，也就是下面的ifdef, define, endif。然后再包含一个头文件string.h。我们先来简单的实现以下三个函数， _fopen, _fwrite, _fclose。

只包含fd的接口——不带缓冲区

下面是代码:

#include<string.h>

//定义缓冲区最大长度
#define SIZE 1024

//flag用来表示刷新方案
#define FLUSH_NOw 0
#define FLUSH_LINE 1
#define FLUSH_ALL 2

typedef struct IO_FILE
{
  int fileno; //文件fd                                                       
  int flag;

  //输入缓冲区
  //char inbuffer[SIZE];
  //int in_pos;
  //输出缓冲区
  char outbuffer[SIZE];    
  int out_pos;    
}_FILE;

_FILE* _fopen(const char* filename, const char* mode);
int _fwrite(_FILE* fp, const char* s, int len);
void _fclose(_FILE* fp);
void _fflush(_FILE* fp);

#endif

然后我们定义FILE类型的结构体。但是为了区分标准库。我们这里改成_FILE（以后的函数等等为了区分都会加上"_")。

对于这个结构体里面的内容，根据我们前面讲到的只是可以知道，这里面一定有两个字段一个是文件描述符fd，一个是文件缓冲区。这里我们先将fd包含进来。如下图:

然后我们就可以先简单的实现一下fopen, fwrite, fclose函数了。

fopen

如下为代码:

_FILE* _fopen(const char* filename, const char* mode)
  {
    //先打开文件                       
    //open函数打开文件， 返回文件描述符。第二个参数是打开方式
    //先判断打开文件的方式。确定第二个参数                                   
    int f = 0;                
    int fd = -1; //一开始令fd 为-1
                                              
    if (strcmp(mode, "w") == 0) f = (O_CREAT|O_WRONLY|O_TRUNC); 
    else if (strcmp(mode, "a") == 0) f = (O_CREAT|O_WRONLY|O_APPEND);
    else if (strcmp(mode, "r") == 0) f = (O_RDONLY);
    else return NULL;
   
    //打开文件， 默认权限是FILEMODE
    fd = open(filename, f, FILEMODE);
    //如果fd是-1， 那么直接return。 否则就是正常打开文件。 正常进行操作
    if (fd == -1) return NULL;
    //else                          
    _FILE* fp = (_FILE*)malloc(sizeof(_FILE));
    if (fp == NULL) return NULL;//如果fp == NULL说明空间不够了。
    //else
    fp->fileno = fd;//让将fd赋值给fp的fd。
    return fp;
  }

fwrite

如下为代码:

 int _fwrite(_FILE* fp, const char* s, int len)                             
  {
    //fd， 要写入的字符串， 字节长度
    return write(fp->fileno, s, len);
  }

fclose

如下为代码:

  //关闭文件                     
  void _fclose(_FILE* fp)        
  {                              
    if (fp == NULL) return;      
    close(fp->fileno);           
    free(fp);                    
  }

我们自己实现一串代码进行测试, 打开的方式是清空写:

运行结果如下:

其实从上面的代码我们就能看到封装的好处。有了fopen， fwrite这些封装之后，以后再向文件中写内容，我们想要修改写入的方式，就不需要再使用O_RONLY、O_WRONLY这些标志了，直接使用w， a， r，然后程序就会自动帮助我们判断如何打开文件!!!

c语言的跨平台性

我们在上面实现的接口是符合linux环境的接口。如果我们再windows下，想实现同样的接口，那么为了能够在windows正常工作，就要实现一份适合在windows下面跑的代码。同样的macos也是一样的。这三份代码我们可以使用if else if, endif条件编译。如果在linux下面就是用linux下面的代码。如果在windows下面就是用windows下面的代码。如果在macos下面，就是用macos下的代码。这个就叫做c语言的跨平台性！！！

带缓冲区的c语言接口

我们在我们的接口里面加入缓冲区，下图是引入缓冲区的方法。图中的in_pos和out_pos是为了标记缓冲区的使用情况。它指向缓冲区已经使用的最后一个位置。这个位置的左边是已经使用的，右边是没有使用的。而且由于我们此次模拟实现的接口用不到输入缓冲区，所以将输入缓冲区注释掉。

接下来我们修改我们的代码:

fopen

首先修改fopen，要初始化缓冲区，那么就是将标记缓冲区使用情况的out_pos置为0. 就代表缓冲区没有被使用过。并且我们要初始化缓冲区的刷新方案。也就是_FILE结构体里面的flag。我们这里默认初始化为行刷新，下图的黄色代码就是初始化缓冲区。（只需要在原本的fopen下面添加黄色框框的代码就可以实现）

fwrite

如下图是写方法的含有缓冲区的实现方式。 就是先将数据拷贝到缓冲区中，然后判断刷新方式，是直接刷新，行刷新还是缓冲区满才刷新。刷新后标记位out_pos置为0.

下面是代码:


  //写方法
  int _fwrite(_FILE* fp, const char* s, int len)
  {
    //使用memcpy将数据拷贝到输出缓冲区中。 
    memcpy(&fp->outbuffer[fp->out_pos], s, len);
    fp->out_pos += len;
    //判断刷新方式
    //直接刷新
    if (fp->flag == FLUSH_NOw)
    {
      write(fp->fileno, fp->outbuffer, fp->out_pos);
      fp->out_pos = 0;
    }                                                                        
    //遇到反斜杠n刷新
    else if ((fp->flag == FLUSH_LINE) && (fp->outbuffer[fp->out_pos - 1] == '  \n'))
    {
      //只要遇到反斜杠n就行刷新
      write(fp->fileno, fp->outbuffer, fp->out_pos);
      fp->out_pos = 0;
    }
    else if (fp->flag == FLUSH_ALL && fp->out_pos == SIZE) 
    {
      write(fp->fileno, fp->outbuffer, fp->out_pos);
      fp->out_pos = 0;
    }
    else return len;
    return len;
  }

fclose

关闭文件和之前没有什么区别

测试:

我们可以使用下面这个监控脚本，以及我们要测试的代码，来测试一下我们模拟实现的是否正确:
#include"_my_func.h"    
#include<unistd.h>    
    
int main()    
{    
  _FILE* fp = _fopen("mytest.txt", "a");    
  if (fp == NULL) return 1;    
    
  int cnt = 10;    
  const char* mes = "hello linux\n";    
  while (cnt)    
  {    
    _fwrite(fp, mes, strlen(mes));    
    sleep(1);    
    cnt--;    
  }    
  _fflush(fp);                                                               
  _fclose(fp);    
  return 0;    
}    
运行结果如下, 因为我们是以行刷新，并且每一秒都会追加一行。所以会出现下图的情况。验证结果我们的代码是正确的。

fflush

fflush这里我们也要模拟一下，博主模拟是为了应对全刷新的情况（并不是说fflush只是为了应对全刷新而存在的）。因为我们使用全刷新的时候，写到缓冲区的内容不容易被刷新出来。就如同下图我们已经运行了程序，但是仍旧刷新不出东西，也就是没有向文件写入:

那么实现fflush，我们要怎么实现呢?代码如下图:

代码:


  void _fflush(_FILE* fp)
  {
    if (fp->out_pos > 0) 
    {                                                                        
      write(fp->fileno, fp->outbuffer, fp->out_pos);
      fp->out_pos = 0;
    }
  }
  
  
  //关闭文件 
E>void _fclose(_FILE* fp)
  {
    if (fp == NULL) return;
    _fflush(fp);//因为关闭文件要将缓冲区中的东西都放出来。
    close(fp->fileno);
    free(fp);
  }

我们在运行就能在10秒胡进程退出的时候打出来了。下图就是测试——前十秒没有打印任何东西，但是后面打印了一串数据。这是因为进程退出的时候刷新了缓冲区。