关注嵌入式安卓物联网行业及人才培养,每日更新,欢迎订阅及留言讨论~~~
作者:倪键树,嵌入式安卓物联网讲师。
Linux文件缓冲区详解
A)缓冲区机制
根据应用程序对文件的访问方式,即是否存在缓冲区,对文件的访问可以分为带缓冲区的操作和非缓冲区的文件操作:
a)带缓冲区文件操作:高级标准文件I/O操作,将会在用户空间中自动为正在使用的文件开辟内存缓冲区。
b)非缓冲区文件操作:低级文件I/O操作,读写文件时,不会开辟对文件操作的缓冲区,直接通过系统调用对磁盘进行操作(读、写等),当然用于可以在自己的程序中为每个文件设定缓冲区。
两种文件操作的解释和比较:
1、非缓冲的文件操作访问方式,每次对文件进行一次读写操作时,都需要使用读写系统调用来处理此操作,即需要执行一次系统调用,执行一次系统调用将涉及到CPU状态的切换,即从用户空间切换到内核空间,实现进程上下文的切换,这将损耗一定的CPU时间,频繁的磁盘访问对程序的执行效率造成很大的影响。
2、ANSI标准C库函数是建立在底层的系统调用之上,即C函数库文件访问函数的实现中使用了低级文件I/O系统调用,ANSI标准C库中的文件处理函数为了减少使用系统调用的次数,提高效率,采用缓冲机制,这样,可以在磁盘文件进行操作时,可以一次从文件中读出大量的数据到缓冲区中,以后对这部分的访问就不需要再使用系统调用了,即需要少量的CPU状态切换,提高了效率。
B)缓冲类型
标准I/O提供了3种类型的缓冲区。
1、全缓冲区:这种缓冲方式要求填满整个缓冲区后才进行I/O系统调用操作。对于磁盘文件的操作通常使用全缓冲的方式访问。第一次执行I/O操作时,ANSI标准的文件管理函数通过调用malloc函数获得需要使用的缓冲区,默认大小为8192。
//come from /usr/include/stdio.h
/* Default buffer size. */
#ifndef BUFSIZ
# define BUFSIZ _IO_BUFSIZ //BUFSIZ 全局宏定义
#endif
//come from /usr/include/libio.h
#define _IO_BUFSIZ _G_BUFSIZ
//come from /usr/include/_g_config.h
#define _G_BUFSIZ 8192 //真实大小
2、行缓冲区:在这种情况下,当在输入和输出中遇到换行符时,标准I/O库函数将会执行系统调用操作。当所操作的流涉及一个终端时(例如标准输入和标准输出),使用行缓冲方式。因为标准I/O库每行的缓冲区长度是固定的,所以只要填满了缓冲区,即使还没有遇到换行符,也会执行I/O系统调用操作,默认行缓冲区的大小为1024。
下面的两个程序的对比可以得出行缓冲的大小:
1024字节不能打印
1024字节开始打印
3、无缓冲区:
无缓冲区是指标准I/O库不对字符进行缓存,直接调用系统调用。标准出错流stderr通常是不带缓冲区的,这使得出错信息能够尽快地显示出来。
注:①标准输入和标准输出设备:当且仅当不涉及交互作用设备时,标准输入流和标准输出流才是全缓冲的。②标准错误输出设备:标准出错绝不会是全缓冲方式的。
C)修改缓冲类型
对于任何一个给定的流,可以调用setbuf()和setvbuf()函数更改其缓冲区类型。
1、setbuf
名称::
setbuf
功能:
更改文件流的缓冲区位置
头文件:
#inlcude
函数原形:
void setbuf (FILE *stream, char * buf)
参数:
stream要操作的流对象,buf指定的缓冲区
返回值:
若成功则返回0,若出错则为非0
此函数第一个参数为要操作的流对象,第二个参数buf必须指向一个长度BUFSIZ的缓冲区。如果将buf设置为NULL,则关闭缓冲区。如果执行成功,将返回0,否则返回非0值。
2、setvbuf
名称::
setvbuf
功能:
更改文件流的缓冲区位置
头文件:
#inlcude
函数原形:
int setvbuf (FILE *restrict stream, char *restrict buf, int modes, size_t n)
参数:
stream要操作的流对象,buf指定的缓冲区,mode缓冲区类型,n指buf的大小
返回值:
若成功则返回0,若出错则为非0
此函数第一个参数为要操作的流对象;第二个参数buf必须指向一个长为BUFSIZ的缓冲区;第三个参数为缓冲区类型,分别定义如下:
//come from /usr/include/stdio.h
/* The possibilities for the third argument to 'setvbuf'. */
#define _IOFBF 0 /* Fully buffered.*/ //全缓冲
#define _IOLBF 1 /* Line buffered. */ //行缓冲
#define _IONBF 2 /* No buffering. */ //无缓冲
第四个参数为该buf的大小。如果指定一个不带缓冲区的流,则忽略buf和size参数。
如果指定全缓冲区或行缓冲区,则buf和size可选择地指定一个缓冲区及其长度。如果出现指定该流是带缓冲区的,而buf是NULL,则标准I/O库将自动为该流分配适当长度的缓冲,适当长度指的即是由文件属性数据结构(struct stat)的成员st_blksize所指定的值,如果系统不能为该流决定此值(例如若此流涉及一个设备或一个管道),则分配长度BUFSIZ的缓冲区。
此函数如果执行成功,将返回0,否则返回非0值。
以下是一个修改buf大小写文件的实例程序。其源代码如下:
#include
#include
intmain()
{
int i;
FILE *fp;
char msg1[] = "hello,world\n";
char msg2[] = "hello/nworld\n";
char buf[128];
/*打开(或者创建)一个文件,然后使用setbuf设置为nobuf情况,并检查关闭前流的情况*/
if((fp =fopen("no_buf1.txt","w")) == NULL)
{
perror("file open fail");
exit(-1);
}
setbuf(fp,NULL);
fwrite(msg1,7,1,fp);
printf("test setbuf(no buf)!checkno_buf1.txt\n");//查看 buf 情况
printf("press enter tocontinue!\n");
getchar();
fclose(fp);//关闭流,因此将回写 buf(如果有 buf 的话)
/*打开(或者创建)一个文件,然后使用 setvbuf 设置为 nobuf 情况,并检查关闭前流的情况*/
if((fp =fopen("no_buf2.txt","w")) == NULL)
{
perror("file open failure!");
exit(-1);
}
setvbuf(fp,NULL,_IONBF,0); //设置为无 buf
fwrite(msg1,7,1,fp);
printf("test setbuf(no buf)!checkno_buf1.txt\n");//查看 buf 情况
printf("press enter tocontinue!\n");
getchar();
fclose(fp);//关闭流,因此将回写 buf ( 如果有 buf 的话)
if((fp =fopen("1_buf.txt","w")) == NULL)
{
perror("fail open file");
exit(-1);
}
setvbuf(fp,buf,_IOLBF,sizeof(buf));//设置为行 buf
fwrite(msg2,sizeof(msg2),1,fp);//写内容
printf("test setvbuf(line buf)!check1_buf.txt,because line buf,only data before enter send to file\n");//查看 buf 情况
printf("press enter tocontinue!\n");
getchar();
fclose(fp); //关闭流,因此将回写buf
//打开(或者创建)一个文件,然后使用 setvbuf 设置为全 buf情况,并检查关闭前流的情况
if((fp =fopen("f_buf.txt","w")) == NULL)
{
perror("file open failure!");
exit(-1);
}
setvbuf(fp,buf,_IOFBF,sizeof(buf));
for(i = 0;i < 2;i++)
{
fputs(msg1,fp);
}
printf("test setbuf(full buf)! checkf_buf.txt\n");
printf("press enter to continue!\n");
getchar();
fclose(fp);//关闭流,因此将回写 buf
return 0;
}
其编译过程及运行结果如下:
编译:
运行:
以下内容是在过程中查看各文件内容信息:
[njs@njs]#cat no_buf1.txt
hello,w //写入的7个字符全部写入到文件中
[njs@njs]#cat no_buf2.txt
hello,w //写入的7个字符全部写入到文件中
[njs@njs]#cat l_buf.txt
hello //只有回车前的字符写入
[njs@njs]#cat f_buf.txt //没有任何内容写入
运行过程完成后:
[njs@njs]#cat no_buf1.txt
hello,w //与原来内容一样
[njs@njs]#cat no_buf2.txt
hello,w //与原来内容一样
[njs@njs]#cat l_buf.txt
hello
world //因为调用了fclose()函数,刷新了缓冲区,将world写入
[njs@njs]#cat f_buf.txt
hello
world //因为调用了fclose()函数,刷新了缓冲区,将hello/nworld都写入