第十章 系统级I/O
输入/输出(I/O)是在主存和外部设备之间拷贝数据的过程。
输入操作:从I/O设备拷贝数据到主存
输出操作:从主存拷贝数据到I/O设备
所有语言运行时系统都提供执行I/O的较高级别的工具,为什么还要学习Unix I/O呢?
了解Unix I/O将帮助你理解其他的系统概念。I/O是系统操作不可或缺的一部分
有时你除了使用Unix I/O以外别无选择
10.1 Unix I/O
一个Unix文件就是一个m个字节的序列,所有的I/O设备,都被模型化为文件,而所有的输入输出都被当作对相应文件的读和写来执行,Unix内核引出一个简单、低级的应用接口:Unix I/O。
所有的输入输出都能以一种统一且一致的方式来执行:
打开文件:一个应用程序想访问I/O设备时会要求内核打开相应的文件,内核返回一个小的非负整数,叫做描述符。
它在后续对此文件的所有操作中标识这个文件。内核记录有关这个文件的所有信息,应用程序只需记住描述符。
每个进程开始时都有三个打开的文件:标准输入(描述符为0)、标准输出(描述符为1)、标准错误(描述符为2)
改变当前的文件位置:对于每个打开的文件,内核保持着一个文件位置k,初始为0,文件位置是从文件开头起始的字节偏移量。
应用程序能够通过执行seek操作,显示的设置文件的当前位置为k。
读写文件:读操作是从文件拷贝n>0个字节到存储器,从当前位置k开始,将k增加到k+n
当k>=m时执行读操作会触发一个称为end-of-file(EOF)的条件,应用程序能检测到这个条件。
写操作就是从存储器拷贝n>0个字节到一个文件,从当前位置k开始,然后更新k。
关闭文件:当应用完成对文件的访问,会通知内核关闭文件。
作为响应,内核释放文件打开时创建的数据结构,并将这个描述符恢复到可用的描述符池中。
无论进程因何种原因终止,内核都会关闭所有打开的文件并释放他们的存储器资源。
10.2 打开和关闭文件
通过调用open函数来打开一个已存在的文件或创建一个新文件:
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
int open(char *filename,int flags,mode_t mode);
返回:若成功则为新文件描述符,若出错为-1
open函数将filename转换为一个文件描述符并返回。
flags指明了进程打算如何访问这个文件:
O_RDONLY:只读
O_WRONLY:只写
O_RDWR:可读可写
flags参数也可以是一个或更多位掩码的或:
O_CREAT:如果文件不存在就创建一个截断的(空)文件
O_TRUNC:如果文件已经存在,就截断它。
O_APPEND:每次写操作前,设置文件位置到文件的结尾处。
mode参数指定了新文件的访问权限位,具体符号如图所示:
每个进程都有一个umask,是通过调用umask函数来设置的。当进程通过带某个mode参数的open函数调用来创建一个新文件时,文件的访问权限位被设置为mode & ~umask
进程通过调用close函数关闭一个打开的文件:
#include <unistd.h>
int close(int fd);
返回:若成功则为0,若出错则为-1
10.3 读和写文件
应用程序是通过分别调用read和write函数来执行输入输出的:
#include <unistd.h>
ssize_t read(int fd,void *buf,size_t n);
返回:若成功则为读的字节数,若EOF则为0,若出错为-1
ssize_t write(int fd,const void *buf,size_t n);
返回:若成功则为写的字节数,若出错则为-1
read函数从描述符为fd的当前文件位置拷贝最多n个字节到存储器位置buf。
write函数从存储器位置buf拷贝至多n个字节到描述符fd的当前文件位置。
在某些情况下,read和write传送的字节比应用程序要求的要少,这些不足值不表示有错误,原因如下:
读时遇到EOF
从终端读文本行
读和写网络套接字(socket)
10.4 用RIO包健壮地读写
RIO包会自动处理不足值,提供了方便、健壮和高效的I/O。RIO提供了两类不同的函数:
无缓冲的输入输出函数:直接在存储器和文件之间传送数据,没有应用级缓冲。
对二进制数据读写尤其有用。
带缓冲的输入函数:高效的从文件中读取文本行和二进制数据,这些文件的内容缓存在应用级缓冲区内。
是线程安全的,它在同一个描述符上可以被交错的调用。
10.4.1 RIO的无缓冲的输入输出函数
通过调用rio_readn和rio_writen函数,应用程序可以直接在存储器和文件之间传送数据。
#include "csapp.h"
ssize_t rio_readn(int fd,void *usrbuf,size_t n);
返回:若成功则为读的字节数,若EOF则为0,若出错为-1
ssize_t rio_writen(int fd,void *usrbuf,size_t n);
返回:若成功则为写的字节数,若出错则为-1
rio_readn函数从描述符为fd的当前文件位置传送最多n个字节到存储器位置usrbuf。
rio_writen函数从存储器位置usrbuf传送n个字节到描述符fd的当前文件位置。
对同一个描述符,可以任意交错的调用上述两函数。
如果rio_readn和rio_writen函数被一个从应用信号处理程序的返回中断,那么每个函数都会手动地重启read或write。
10.4.2 RIO的带缓冲的输入函数
文本行是由换行符结尾的ASCII码字符序列。
包装函数rio_readlineb:从一个内部读缓冲区拷贝一个文本行,当缓冲区变空时,会自动地调用read重新填满缓冲区。
rio_readn带缓冲区的版本
rio_readnb:对于既包含文本行也包含二进制数据的文件,也是从读缓冲区中传送原始字节。
#include "csapp.h"
void rio_readinitb(rio_t *rp,int fd);
ssize_t rio_readlineb(rio_t *rp,void *usrbuf,size_t maxlen);
ssize_t rio_readnb(rio_t *rp,void *usrbuf,size_t n);
返回:若成功则为读的字节数,若EOF则为0,若出错为-1
每打开一个描述符都会调用一次rio_readinitb函数
将描述符fd和地址rp处的一个类型为rio_t的读缓冲区联系起来。
rio_readlineb函数从文件rp读出一个文本行,包括结尾换行符,拷贝到存储器位置usrbuf,并用空字符来结束这个文本行。最多读maxlen-1个字节,余下的一个留给结尾的空字符。超过maxlen-1个字节的文本行被截断并用空字符结束。
rio_readnb函数从文件rp最多读n个字节到存储器位置usrbuf。
对同一描述符,可以任意交叉调用上述两函数。但带缓冲的不应和无缓冲的交叉使用。
RIO读程序的核心是rio_read函数。
rio_read函数是Unix read函数的带缓冲的版本。
当调用rio_read函数要求读n个字节时,读缓冲区内有rp->rio_cnt个未读字节。
如果缓冲区为空,会调用read填满它。
一旦缓冲区非空,rio_read就从读缓冲区拷贝n和rp->rio_cnt中较小值个字节到用户缓冲区,并返回拷贝字节数。
10.5 读取文件元数据
应用程序能够通过调用stat和fstat函数,检索到关于文件的信息,即文件的元数据。
#include <unistd.h>
#include <sys/stat.h>
int stat(const char *filename,struct stat *buf);
int fstat(int fd,struct stat *buf);
返回:若成功则为0,若出错则为-1.
stat函数以一个文件名作为输入,并填写一个stat数据结构中的各个成员。
fstat函数是相似的,只不过是以文件描述符作为输入。
st_size成员包含了文件的字节数大小
st_mode成员编码了文件访问许可位和文件类型:普通文件/目录文件/套接字
Unix提供的宏指令根据st_mode成员来确定文件类型:
S_ISREG():这是一个普通文件吗?
S_ISDIR():这是一个目录文件吗?
S_ISSOCK():这是一个网络套接字吗?
10.6 共享文件
内核用三个相关的数据结构来表示打开的文件:
描述符表:每个进程都有独立的描述符表,由进程打开的文件描述符来索引,每个打开的描述符表项指向文件表中的一个表项。
文件表:所有进程共享,表项组成包括当前文件位置、引用计数、一个指向v-node表中对应表项的指针。引用计数为0时,内核会删除这个文件表表项。
v-node表:所有进程共享,每个表项包含stat结构中的大多数信息。
例:两个描述符通过不同的打开文件表表项来引用两个不同的文件,没有共享
例:多个描述符通过不同的文件表表项来引用同一个文件
例:父子进程共享相同的打开文件表集合,共享相同的文件表位置。
10.7 I/O重定向
I/O重定向:使用dup2函数
#include <unistd.h>
int dup2(int oidfd,int newfd);
返回:若成功则为非负的描述符,若出错则为-1
dup2函数拷贝描述符表表项oldfd到newfd,覆盖newfd以前的内容,如果newfd已经打开了,dup2会在拷贝之前关闭newfd。
例:图3中调用dup2(4,1)后,两个描述符都指向文件B,文件A被关闭并且它的文件表和v-node表也被删除了,文件B的引用计数增加。
10.8 标准I/O
标准I/O库(libc):高级输入输出函数
fopen/fclose:打开和关闭文件
fread/fwrite:读和写字节
fgets/fputs:读和写字符串
scanf/printf:复杂格式化的I/O函数
标准I/O库将一个打开的文件模型化为一个流,一个流就是一个指向FILE类型的结构指针。
每个程序开始时都有三个打开的流:
stdin:标准输入
stdout:标准输出
stderr:标准错误
类型为FILE的流是对文件描述符和流缓冲区的抽象,流缓冲区的目的:使开销较高的Unix I/O系统调用的数量尽可能的小。
附录A 错误处理
错误处理包装函数:给定某个基本的系统级函数foo,定义一个有相同参数的包装函数Foo。包装函数调用基本函数并检查错误。如果发现错误就打印一条信息并终止进程,否则返回调用者。即如果没有错误,包装函数的行为与基本函数完全一样。
包装函数被封装在一个源文件(csapp.c)中,被编译和链接到每个程序中。
A.1 Unix系统中的错误处理
1、Unix风格的错误处理
if((pid = wait(NULL)) < 0) {
fprintf(stderr,"wait error:%s\n",strerror(errno));
exit(0);
}
函数返回值既包括错误代码又包括有用的结果。如果遇到错误就返回-1,并将全局变量errno设置为指明错误原因的错误代码。如果成功就返回有用的结果。
2、Posix风格的错误处理
if((retcode = pthread_create(&tid,NULL,thread,NULL)) != 0) {
fprintf(stderr,"pthread_create error:%s\n",strerror(retcode));
exit(0);
}
只用返回值来表明成功(0)或者失败(非0)。任何有用的结果都返回在通过引用传递进来的函数参数中。
3、DNS风格的错误处理
if((p = gethostbyname(name)) == NULL) {
fprintf(stderr,"gethostbyname error:%s\n:",hstrerror(h_errno));
exit(0);
}
在失败时返回NULL指针,并设置全局变量h_errno。
4、错误报告函数小结
#include "csapp.h"
void unix_error(char *msg);
void posix_error(int code,char *msg);
void dns_error(char *msg);
void app_error(char *msg);
app_error函数是为了方便报告应用错误,它只是简单地打印它的输入,然后终止。
A.2 错误处理包装函数
Unix风格的错误处理包装函数
Posix风格的错误处理包装函数
DNS风格的错误处理包装函数
学习总结
这章的内容相对比较简单,也比较简短,前面总的介绍了输入输出函数的统一方式,就是我认为的一般步骤:打开文件,改变当前的文件位置,读写文件,关闭文件,而后的各节分别就每个步骤进行了更详细一些的说明与介绍,以大概的函数格式描述了各个步骤,让我们先学概念,再进行实用,整章下来,思绪联系很紧密,从总到分,让人接受起来也更容易,而附录A介绍了各种风格的错误处理与对应的错误处理包装函数,扩充我们的认知,了解到更多。
参考资料
课本第十章,附录A,其中截图均来自《深入理解计算机系统》pdf版。
实践内容
根据老师所给的实践代码,在虚拟机中运行了各个代码,理解代码功能及内容。首先是要把代码拷贝到共享文件夹,经过编译之后再运行测试。
ls
ls老师给了两个代码,第一个实现功能显示当前文件家内容,第二个在第一个的基础上更加完善,还可显示出文件的详细信息,如读写权限,大小和创建时间等。
ls实现的功能:
ls -l
ls -a
ls -lu:最后访问时间
ls -s:以块为单位的文件大小
ls -t:按时间排序
ls -F:显示文件类型
列出文件目录
显示文件信息
文件树
文件和目录被组织成目录树(tree),节点是目录或者文件
目录是一种特殊文件,文件内容就是目录和文件的名字,与utmp类似
与文件不同,目录不会为空
伪代码:
打开目录文件
针对目录文件
读取目录条目
显示文件名
关闭文件目录文件
如下是运行过程:
who
who也有两个代码,运行的结果是一样的,代码实现的功能是一样的,主要是从UTMP_FILE文件中读取信息到存储器中,然后再用标准输出函数打印到屏幕上,最后关闭文件。
打开utmp文件
针对文件
读取一条记录
显示记录
关闭文件
如下是运行过程:
cp
用来复制文件,函数大致步骤:
打开源文件
创建目标文件
针对源文件
把源文件读入缓冲区
把缓冲区内容写入目标文件
关闭源文件和目标文件
cp命令使用格式:cp src dst
运行以下命令:实现复制操作
操作之后cp1.c里面的内容被更改:
setecho & echostate
setecho:是设置echo值的一个函数,输入yes后,键盘键入命令是可见的,而输入no后,键盘键入命令是不可见的,但是依然是可执行的。
echostate:这个函数是用来检查键盘键入命令是否可见,是与以上的setecho代码结合起来的。
注意这个过程中会有命令不可见的情形,所以很容易运行出错,必须仔细。
fileinfo & filesize
fileinfo:可显示文件信息。
filesize:可计算文件的字节数。
以上两个代码都是先判断是否有错误,有错就打印报错信息,没有就执行功能代码。