【UNIX环境高级编程】文件IO详解

定义：文件I/O指的是对文件的输入、输出操作，简单来说就是对文件的读/写操作。

文件描述符

对于内核而言，所有打开的文件都通过文件描述符引用，文件描述符是一个非负整数，当打开一个现有文件或创建一个新文件时，内核向进程返回一个文件描述符，当读或写一个文件时，使用open或create返回的文件描述符标识该文件，将其作为参数传送给read或write。
UNIX系统shell使用文件描述符0与进程的标准输入相关联，文件描述符1与标准输出相关联，文件描述符2与标准出错输出相关联。

open函数

打开文件，创建文件

#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>

//pathname 文件路径 flags 标志(行为)
int open(const char *pathname, int flags);
//创建文件 mode 设置权限
int open(const char *pathname, int flags, mode_t mode);

只有创建文件的时候才会使用第三个参数mode。

• 参数一pathname：是要打开或创建文件的名字。
• 参数二flags：可用来说明此函数的多个选项，可以用一个或多个常量进行"或"运算构成flags参数。
• O_RDONLY:只读打开；
• O_WRONLY:只写打开；
• O_RDWR:读、写打开；
• O_APPEND:每次写时都追加到文件的尾端；
• O_CREAT:若文件不存在则创建它；如果使用这个则必须使用第三个参数mode；
• O_EXCL:如果同时指定了O_CREAT，而文件已经存在，则会出错，用此测试一个文件是否存在，如果不存在则创建此文件；
• O_TRUNC:如果文件存在，而且为只写或读写成功打开，则将其长度截断为0；
• O_NONBLOCK:如果pathname指的是一个FIFO，一个块特殊文件或一个字符特殊文件，则此选项为文件的本次打开操作和后续的IO操作设置非阻塞模式；
• O_NOCTTY:如果pathname指的是终端设备，则不将该设备分配作为此进程的控制终端；
• O_DSYNC:使每次write等物理IO操作完成，但是如果写操作并不影响读取刚写入的数据，则不等待文件属性被更新；
• O_RSYNC:使每一个以文件描述符作为参数的read操作等待，直至任何对文件同一部分进行的未决写操作都完成；
• O_SYNC:使每次write都等到物理IO操作完成，包括由write操作引起的文件属性更新所需的IO；

creat函数

调用creat函数创建一个新文件。若成功返回为只写打开的文件描述符，若出错则返回-1。

#include <fcntl.h>

int creat(const char *pathname, mode_t mode);

close函数

调用close函数关闭一个打开的文件。关闭一个文件时还会释放该进程加在该文件上的所有记录锁。若成功返回0，失败返回-1。
当一个进程终止文件时，内核自动关闭它所有打开的文件，很多程序都利用了这一功能而不显示地用close关闭打开的文件。

#include <unistd.h>

int close(int fd);

lseek函数

每个打开的文件都有一个与其相关联的当前文件偏移量，它通常是一个非负整数，用以度量从文件开始处计算的字节数。通常读、写操作都从当前文件的偏移量处开始，并使偏移量增加所读写的字节数。默认偏移量被设置为0，除非指定O_APPEND选项。
若成功返回新的文件偏移量，若失败返回-1。

#include <unistd.h>

off_t lseek(int fd, off_t offset, int whence);

若whence是SEEK_SET(0)，则将该文件的偏移量设置为距文件开始处offset个字节；
若whence是SEEK_CUR(1)，则将该文件的偏移量设置为其当前值加offset，offset可正可负；
若whence是SEEK_END(2)，则将该文件的偏移量设置为文件长度加offset，offset可正可负；

read函数

调用read函数从打开的文件中读数据。若成功返回读到的字节数，若已到文件结尾则返回0，若出错返回-1。

#include <unistd.h>

ssize_t read(int fd, void *buf, size_t count);

• 参数一：open返回的文件标识符；
• 参数二：将读出的数据存储的缓存，我习惯声明为char buffer[4096]，因为这个BUFFSIZE使其IO效率是最大的；
• 参数三：所读的字节数；

write函数

调用write函数向打开的文件写数据。若成功返回已写的字节数，若出错则返回-1。
对于普通文件，写操作从文件的当前偏移量开始，如果在打开该文件时，指定了O_APPEND选项，则在每次写操作之前，将文件偏移量设置在文件的当前结尾处，在一次成功写之后，该文件偏移量增加实际写的字节数。

#include <unistd.h>

ssize_t write(int fd, const void *buf, size_t count);

• 参数一：open返回的文件标识符；
• 参数二：所要写入的数据暂存的缓存，我习惯声明为char buffer[4096]，因为这个BUFFSIZE使其IO效率是最大的；
• 参数三：所要写入的字节数；

代码示例

#include <stdio.h>
#include <unistd.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>

#define BUFFSIZE 4096
void main()
{
    int n;
    char buff[BUFFSIZE];

    int fd;
    char path[64];
    snprintf(path, sizeof(path), "/home/xinyu/projects/demo/test.txt");

    fd = open(path, O_RDWR | O_APPEND);
    printf("fd=%d\n", fd);

    n = read(fd, buff, BUFFSIZE);
    if (n < 0)
    {
        printf("read error\n");
        close(fd);
    }
    printf("buff=%s\n", buff);

    write(fd, buff, n);

    close(fd);

    return;
}

原子操作

原子操作指的是由多步组成的操作，如果该操作原子地执行，则要么执行完所有步骤，要么一步也不执行，不可能只执行所有步骤的一个子集。
UNIX系统提供了一种方法使两个进程操作同一个文件时成为原子操作，该方法就是在打开文件时设置O_APPEND标志，这就使内核每次对这种文件进行写之前，都将进程的当前偏移量设置到该文件的尾端处，于是在每次写之前都不在需要调用lseek来查看偏移量了。

pread和pwrite函数

#include <unistd.h>

ssize_t pread(int fd, void *buf, size_t count, off_t offset);
ssize_t pwrite(int fd, const void *buf, size_t count, off_t offset);

pread相当于顺序调用lseek和read，但是pread又与这种顺序调用有重要区别；

• 调用pread是无法中断定位和读操作；
• 不更新文件指针。
  调用pwrite相当于顺序调用lseek和write，但是也与它们有类似的区别。

dup和dup2函数

复制一个现存的文件描述符。

#include <unistd.h>

int dup(int oldfd);
int dup2(int oldfd, int newfd);

由dup返回的新文件描述符一定是当前可用文件描述符中的最小数值。
用dup2则可以用newfd参数指定新描述符的数值。如果newfd已经打开，则先将其关闭，如果newfd等于oldfd，则dup2返回newfd，而不关闭它。

sync、fsync和fdatasync函数

传统的UNIX实现在内核中设有缓冲区高速缓存或页面缓存，大多数磁盘IO都通过缓冲进行。当将数据写入文件时，内核通常先将该数据复制到其中一个缓冲区，如果该缓冲区尚未写满，则并不将其排入输出队列，而是等待其写满或者当内核需要重用该缓冲区以便存放其他磁盘块数据时，再将该缓冲排入输出队列，然后将其到达队首时，才进行实际的IO操作。
延迟写减少了磁盘读写次数，但是却降低了文件的更新速度，使得欲写到文件中的数据在一段时间内并没有写到磁盘上。当系统发生故障时，这种延迟可能造成文件更新内容的丢失。为了保证磁盘上实际文件系统和缓冲区高速缓存中内容的一致性，UNXI系统提供了sync、fsync、fdatasync三个函数。
若成功返回0，失败返回-1。

#include <unistd.h>

void sync(void);

int fsync(int fd);

int fdatasync(int fd);

sync函数只是将所有修改过的块缓冲区排入写队列，然后就返回，并不等待实际写磁盘操作结束。
fsync函数只对由文件描述符指定的单一文件起作用，并且等待写磁盘操作结束，然后返回。
fdatasync函数类似于fsync，但它只影响文件的数据部分，而除数据外，fsync还会同步更新文件的属性。

fcntl函数

fcntl函数可以改变已打开文件的性质。若成功返回cmd，失败返回-1。

#include <unistd.h>
#include <fcntl.h>

int fcntl(int fd, int cmd, ... /* arg */ );

五种功能

1. 复制一个现有的描述符：cmd=F_DUPFD;
2. 获得/设置文件描述符标记：cmd=F_GETFD / F_SETFD;
3. 获得/设置文件状态标记：cmd=F_GETFL / F_SETFL;
4. 获得/设置异步IO所有权：cmd=F_GETOWN / F_SETOWN;
5. 获得/设置记录锁：cmd=F_GETLK、F_SETLK、F_SETLKW;

ioctl函数

ioctl函数是IO操作的杂物箱。不能用上面其他函数表示的IO操作，通常都能用ioctl函数表示。

#include <sys/ioctl.h>

int ioctl(int fd, unsigned long request, ...);