UNIX 环境高级编程读书笔记（1）

在Liunx系统编程中，经常会出现或多或少的困惑，虽然基本大部分会用，但是可能感觉还是因为对于一些概念性的东西了解的不够深入，因此重新读一遍APUE，从头梳理一遍知识点。这篇总结博客是大概暑假的时候就准备看书总结了，但是这段时间因为个人的一些原因导致状态很差，最近感觉调整的好一些了，因此决定用博客来记录自己的读书笔记，一是为了熟练的使用，自己能动手敲巩固一遍的话效果可能更好，二是为了明年的实习（假如导师放实习的话- -。

那就直接从第三章文件I/O开始了。

如果存在问题的话，欢迎指出！

1.文件I/O

1.1 引言

对于大多数文件I/O来讲，只需要用到5个函数：open、read、write、lseek、close。
与我们平时在C/C++中所用的标准I/O不同，本章所描述的函数被称为不带缓冲的I/O。同时本章还会说明dup、fcntl、sync、fsync、isctl函数。

1.2 文件描述符

首先介绍文件描述符，在UNIX系统中，所有打开的文件都通过文件描述符引用，文件描述符是一个非负整数，这与我们通常在Windows系统下编写C/C++程序有所不同，平时我们对于一个描述进行操作时，通常是对一个FILE*类型的结构体进行操作，但是在UNIX系统中，我们通过文件描述符来对文件进行描述和操作。

UNIX系统会将文件描述符为0的文件关联标准输入（STDIN_FILENO），文件描述符为1的文件关联标准输出（STDOUT_FILENO），文件描述符为2的文件关联标准错误输出（STDERR_FILENO），对应的宏定义都在头文件<unistd.h>中定义。

如果想要查看当前进程所能打开的最大数量文件个数，可以通过命令ulimit -a来查看。

1.3 函数open和openat

path:打开或创建文件的名字

flag：可以用来说明我们打开文件的方式。

参数名称（必选下面之一）	功能
O_RDONLY	只读打开
O_WRONLY	只写打开
O_RDWR	读写打开
O_EXEC	只执行打开
O_SEARCH	只搜索打开

参数名称（可选）	功能
O_APPEND	追加尾端写入
O_CLOEXEC	把FD_CLOEXEC常量设置为文件描述符标志
O_CREAT	创建文件并通过mode参数设定文件权限
O_DIRECTORY	如果path引用不是目录就报错
O_EXCL	可以搭配O_CREAT，如果文件存在就报错，这可成为一个原子操作
O_SYNC	每次write等待物理I/O操作完成
O_TRUNC	写文件时将文件清空

mode_t：代表的是变参，这也是在C中为了实现类似于C++中的重载函数的功能，当我们需要创建文件的时候，就需要通过这个参数来指定文件权限。在这里对于常见的普通文件和目录文件的权限进行说明：读写操作就不赘述了，对于普通文件而言，如果它具备执行权限，那就是可执行文件；对于目录文件，如果存在执行权限，那就代表可以打开，否则不能打开目录（chmod命令）。

通过open和openat函数返回的文件描述符一定是当前进程最小的未用描述符数值，比如在上文中我们介绍，文件描述符012已经被默认关联，也就是说，此时如果我们在当前进程打开一个新文件，那么这个新文件对应的文件描述符的值为3.

相较于open函数，openat函数旨在解决两个问题，首先是通过相对路径名打开目录中的文件（应该是因为openat是一个原子操作所以可以避免第二个问题中所描述的错误），第二可以避免time-of-check-to-time-of-use(TOCTTOU)错误。

1.4 函数creat

creat函数的原型在1.3中图片中有给出。
此函数等效于open(path,O_WRONLY | O_CREAT | O_TRUNC, mode);

1.5 函数close

关闭一个打开文件，并且还会释放进程加载该文件上的所有记录所，同样的当当前进程结束时也会自动用close关闭打开文件。

1.6 函数lseek

文件偏移量是一个非负整数，通常读写操作都是从当前文件偏移量处开始的，一般打开一个文件的时候除非指定flag为O_APPEND，否则一般都为0也就是文件开始处。

功能：
改变文件的偏移量

参数：
fd：文件描述符
offset：根据whence来移动的位移数（偏移量），可以是正数，也可以负数，如果正数，则相对于whence往右移动，如果是负数，则相对于whence往左移动。如果向前移动的字节数超过了文件开头则出错返回，如果向后移动的字节数超过了文件末尾，再次写入时将增大文件尺寸。

whence：其取值如下：
SEEK_SET：从文件开头移动offset个字节
SEEK_CUR：从当前位置移动offset个字节
SEEK_END：从文件末尾移动offset个字节

返回值：
若lseek成功执行, 则返回新的偏移量
如果失败， 返回-1

文件偏移量可以大于文件的当前长度，在这种情况下，对该文件的下一次写将加长该文件，并在文件中构成空洞，文件中的空洞并不要求在磁盘上占用存储区。

因为lseek使用的偏移量是用off_t类型表示的，所以允许具体实现根据特点平台自行选择合适大小的数据类型。

3.7 函数read

功能：
把指定数目的数据读到内存（缓冲区）

参数：
fd : 文件描述符
buf : 内存首地址
count : 读取的字节个数

返回值：
成功：实际读取到的字节个数
失败： - 1

有以下多种情况可能导致实际独到的字节数少于要求读的字节数：
1.读普通文件时，在读到要求字节数之前到达了文件尾端，返回实际字节数。
2.读终端设备，以此最多读一行
3.读网络，网络的缓冲机制可能造成返回值小于所要求的字节数
4.从管道读，管道字节小于要求的字节数
5.信号造成中断，此时已经读取了部分数据的时候。

3.8 函数write

功能：
把指定数目的数据写到文件（fd）

参数：
fd : 文件描述符
buf : 数据首地址
count : 写入数据的长度（字节）

返回值：
成功：实际写入数据的字节个数
失败： - 1

3.9 I/O效率

大多数文件系统为改善性能都采用某种预读技术。当检测到正进行顺序读取时，系统就驶入读入比应用所要求的更多数据，并假想应用很快就会读这些数据。（类似的概念有很多例如cache感觉可以联想理解一下就知道这样做的原因了。）

3.10 文件共享

UNIX支持在不同进程之间共享打开文件。
内核使用3种数据结构表示打开文件：
1.每个进程在进程表中都有一个记录项，记录项中包含一张打开文件描述符，每个描述符占用一项。与每个文件描述符相关联的是文件描述符标志和指向一个文件表项的指针。
2.内核为所有打开文件维持一张文件表，每个文件表项包含文件状态标志，当前文件偏移量以及指向该文件v节点表项的指针。
3.每个打开文件都有一个v节点结构。v节点包含了文件类型和对此文件进行各种操作函数的指针，对于大多数文件，v节点还包含了该文件的inode。

下图是一个进程打开两个文件描述符：

两个独立进程打开了同一个文件如下所示：

也就是说，即使对于不同进程而言，他们对于相同的文件有着不同的认知（不同进程中偏移量和文件状态等都不同），但是由于都是相同的v节点，因此指向的还是同一文件。
通过上图对上述的操作进行总结：
1.在完成每个write后，在文件表项中的当前文件偏移量即增加所写入的字节数，如果当前文件偏移量超出了当前文件长度则将i节点表项中的当前文件长度设置为当前文件偏移量。
2.使用O_APPEND标志打开文件，文件表项中的当前文件偏移量会首先设置为i节点表项中的文件长度。
3.若一个文件使用lseek定位到文件尾端，则文件偏移量会设置为i节点表项的当前文件长度。
4.lseek函数只修改文件表项中的当前文件偏移量不进行任何I/O操作。

3.11 原子操作

原子操作：由多步组成的一个操作，如果该原子操作执行，那么要么执行完全部，要不就不执行。

3.12 函数dup和dup2

int dup(int oldfd);
功能：
通过 oldfd 复制出一个新的文件描述符，新的文件描述符是调用进程文件描述符表中最小可用的文件描述符，最终 oldfd 和新的文件描述符都指向同一个文件。

参数：
oldfd : 需要复制的文件描述符 oldfd

返回值：
成功：新文件描述符
失败： -1

int dup2(int oldfd, int newfd);
功能：
通过 oldfd 复制出一个新的文件描述符 newfd，如果成功，newfd 和函数返回值是同一个返回值，最终 oldfd 和新的文件描述符 newfd 都指向同一个文件。

参数：
oldfd : 需要复制的文件描述符
newfd : 新的文件描述符，这个描述符可以人为指定一个合法数字（0 - 1023），如果指定的数字已经被占用（和某个文件有关联），此函数会自动关闭 close() 断开这个数字和某个文件的关联，再来使用这个合法数字。

返回值：
成功：返回 newfd
失败：返回 -1

3.13 函数sync、fsync和fdatasync

内核通过重用缓冲区来存放其他磁盘块数据时，它会把所有延迟写数据块写入磁盘。通过sync、fsync和fdatasync函数来保证实际文件系统与缓冲区内容的一致性。

sync将所有修改过的块缓冲区排入写队列然后返回，并不等待实际写磁盘结束。
fsync函数只对由文件描述符指定的一个文件起作用并等待写磁盘操作结束菜返回。
fdatasync函数类似于fsync,但它只影响文件的数据部分。

3.14 函数fcntl

改变已经打开文件的属性

fd：指定要改变属性的文件
cmd：
1.复制一个已有的描述符（cmd=F_DUPFD或F_DUPFD_CLOEXEC）
2.获取/设置文件描述符标志（cmd=F_GETFD或F_SETFD）
3.获取/设置文件状态标志（cmd=F_GETEF或F_SETLFL）
4.获取/设置异步I/O所有权（cmd=F_GETOWN或F_SETWON）
5.获取/设置记录锁（cmd=F_GETLK\F_SETLK或F_SETLKW）

3.16 /dev/fd

打开文件dev/fd/n等效于复制描述符n。