linux-文件IO

linux read/write和fread/fwrite有什么区别

read/write函数是Linux“系统调用”，Linux中系统调用相当于Windows平台API的概念，而fread/fwrite则是标准函数库中提供的函数。相对于fread/fwrite库函数，read/write系统调用是属于更加底层的文件访问，而与库函数相比，系统调用的资源开销要大些，这是因为系统调用更加底层而没有缓冲机制，而且执行系统调用会马上进行内核代码和用户代码之间的切换。通常使用系统调用是读写大量的数据，尽量避免一次读写一个字符这样的使用情况。而fread/fwrite库函数是属于更高层的接口，比如fwrite就提供输出缓冲功能，所以使用fwrite函数时可以写任意长度的数据。这就是它们的区别。

linux read/write和fread/fwrite有什么区别

1 C库IO函数的工作流程

c语言操作文件相关问题:
使用fopen函数打开一个文件, 返回一个FILE* fp, 这个指针指向的结构体有三个重要的成员.

• 文件描述符: 通过文件描述可以找到文件的inode, 通过inode可以找到对应的数据块
• 文件指针: 读和写共享一个文件指针, 读或者写都会引起文件指针的变化
• 文件缓冲区: 读或者写会先通过文件缓冲区, 主要目的是为了减少对磁盘的读写次数, 提高读写磁盘的效率.

备注:

• 头文件stdio.h 的第48行处: typedef struct _IO_FILE FILE;
• 头文件libio.h 的第241行处: struct _IO_FILE, 这个接头体定义中有一个_fileno成员, 这个就是文件描述符

2 C库函数与系统函数的关系

系统调用: 由操作系统实现并提供给外部应用程序的编程接口,(Application Programming Interface, API), 是应用程序同系统之间数据交互的桥梁.

3 虚拟地址空间

进程的虚拟地址空间分为用户区和内核区, 其中内核区是受保护的, 用户是不能够对其进行读写操作的;
内核区中很重要的一个就是进程管理, 进程管理中有一个区域就是PCB(本质是一个结构体);
PCB中有文件描述符表, 文件描述符表中存放着打开的文件描述符, 涉及到文件的IO操作都会用到这个文件描述符.

4 pcb和文件描述符表

备注: pcb：结构体:task_stuct, 该结构体在:

/usr/src/linux-headers-4.4.0-97/include/linux/sched.h:1390

一个进程有一个文件描述符表：1024

• 前三个被占用, 分别是STDIN_FILENO, STDOUT_FILENO, STDERR_FILENO
• 文件描述符作用：通过文件描述符找到inode, 通过inode找到磁盘数据块.

虚拟地址空间->内核区->PCB->文件描述表->文件描述符->文件IO操作使用文件描述符

5 文件操作函数

一个进程启动之后，默认打开三个文件描述符：

#define  STDIN_FILENO     		0
#define  STDOUT_FILENO    	    1
#define  STDERR_FILENO    	    2

新打开文件返回文件描述符表中未使用的最小文件描述符, 调用open函数可以打开或创建一个文件, 得到一个文件描述符。

5.1 open函数

函数描述: 打开或者新建一个文件

函数原型:

int open(const char *pathname, int flags);
int open(const char *pathname, int flags, mode_t mode);

函数参数：

• pathname参数是要打开或创建的文件名,和fopen一样, pathname既可以是相对路径也可以是绝对路径。
• flags参数有一系列常数值可供选择, 可以同时选择多个常数用按位或运算符连接起来, 所以这些常数的宏定义都以O_开头,表示or。必选项:以下三个常数中必须指定一个, 且仅允许指定一个。
  • O_RDONLY 只读打开
  • O_WRONLY 只写打开
  • O_RDWR 可读可写打开
  • 以下可选项可以同时指定0个或多个, 和必选项按位或起来作为flags参数。可选项有很多, 这里只介绍几个常用选项：
  • O_APPEND 表示追加。如果文件已有内容, 这次打开文件所写的数据附加到文件的末尾而不覆盖原来的内容。
  • O_CREAT 若此文件不存在则创建它。使用此选项时需要提供第三个参数mode, 表示该文件的访问权限。
• 文件最终权限：mode & ~umask
  • O_EXCL 如果同时指定了O_CREAT,并且文件已存在,则出错返回。
  • O_TRUNC 如果文件已存在, 将其长度截断为为0字节（清空）。
  • O_NONBLOCK 对于设备文件, 以O_NONBLOCK方式打开可以做非阻塞I/O(NonblockI/O),非阻塞I/O。

函数返回值:

• 成功: 返回一个最小且未被占用的文件描述符。
• 失败: 返回-1, 并设置errno值。

5.2 close函数

函数描述: 关闭文件
函数原型: int close(int fd);
函数参数: fd文件描述符
函数返回值:成功返回0,失败返回-1, 并设置errno值.

需要说明的是,当一个进程终止时, 内核对该进程所有尚未关闭的文件描述符调用close关闭,所以即使用户程序不调用close, 在终止时内核也会自动关闭它打开的所有文件。但是对于一个长年累月运行的程序(比如网络服务器), 打开的文件描述符一定要记得关闭, 否则随着打开的文件越来越多, 会占用大量文件描述符和系统资源。

5.3 read函数

• 函数描述: 从打开的设备或文件中读取数据
• 函数原型: ssize_t read(int fd, void *buf, size_t count);
• 函数参数:
  • fd: 文件描述符
  • buf: 读上来的数据保存在缓冲区buf中
  • count: buf缓冲区存放的最大字节数
• 函数返回值:
  • >0：读取到的字节数
  • =0：文件读取完毕
  • -1： 出错，并设置errno

非阻塞情况下：返回值客户端断开返回0，数据读取玩为-1；

5.4 write函数

• 函数描述: 向打开的设备或文件中写数据
• 函数原型: ssize_t write(int fd, const void *buf, size_t count);
• 函数参数：
  • fd：文件描述符
  • buf：缓冲区，要写入文件或设备的数据
  • count：buf中数据的长度
• 函数返回值:
  • 成功：返回写入的字节数
  • 错误：返回-1并设置errno

5.5 lseek函数

所有打开的文件都有一个当前文件偏移量(current file offset),以下简称为cfo. cfo通常是一个非负整数, 用于表明文件开始处到文件当前位置的字节数. 读写操作通常开始于 cfo, 并且使 cfo 增大, 增量为读写的字节数. 文件被打开时, cfo 会被初始化为 0, 除非使用了 O_APPEND.
使用 lseek 函数可以改变文件的 cfo.

#include <sys/types.h>
#include <unistd.h>
off_t lseek(int fd, off_t offset, int whence);

//可以通过使用man 2 lseek查看需要用的头文件。

• 函数描述: 移动文件指针
• 函数原型: off_t lseek(int fd, off_t offset, int whence);
• 函数参数：（fd：文件描述符）
  • 参数 offset 的含义取决于参数 whence：
  • 如果 whence 是 SEEK_SET，文件偏移量将设置为 offset。
  • 如果 whence 是 SEEK_CUR，文件偏移量将被设置为 cfo 加上 offset，offset 可以为正也可以为负。
  • 如果 whence 是 SEEK_END，文件偏移量将被设置为文件长度加上 offset，offset 可以为正也可以为负。
• 函数返回值: 若lseek成功执行, 则返回新的偏移量。
• lseek函数常用操作
  • 文件指针移动到头部

    lseek(fd, 0, SEEK_SET);
    

  • 获取文件指针当前位置

    int len = lseek(fd, 0, SEEK_CUR);
    

  • 获取文件长度

    int len = lseek(fd, 0, SEEK_END);
    

  • lseek实现文件拓展

    off_t currpos;
    // 从文件尾部开始向后拓展1000个字节
    currpos = lseek(fd, 1000, SEEK_END); 
    // 额外执行一次写操作，否则文件无法完成拓展
    write(fd, “a”, 1);	// 数据随便写
    

6 perror和errno

errno是一个全局变量, 当系统调用后若出错会将errno进行设置, perror可以将errno对应的描述信息打印出来.
如:perror(“open”); 如果报错的话打印: open:(空格)错误信息
练习:编写简单的例子, 测试perror和errno.

7 阻塞和非阻塞

巨人肩膀：Linux 文件阻塞跟非阻塞
思考: 阻塞和非阻塞是文件的属性还是read函数的属性?

• 普通文件：hello.c
  默认是非阻塞的
• 终端设备：如 /dev/tty
  默认阻塞
• 管道和套接字
  默认阻塞

练习:

1. 测试普通文件是阻塞还是非阻塞的?
2. 测试终端设备文件/dev/tty是阻塞还是非阻塞的.

得出结论: 阻塞和非阻塞是文件本身的属性, 不是read函数的属性.