目录
基础知识
文件描述符
是内核为了高效管理已经打开的文件创建的索引,所有打开的文件都通过文件描述符来引用,其值是一个非负整数,当打开或创建一个文件时,内核会向进程返回一个文件描述符,当读或写时,需要使用文件描述符标识你需要操作的文件。
当程序开始运行时,系统会自动打开三个文件描述符 ,如下显示
文件描述符 | 用途 | 符号常量 | 标准I/O文件流 |
---|---|---|---|
0 | 标准输入 | STDIN_FILENO | stdin |
1 | 标准输出 | STDOUT_FILENO | stdout |
2 | 标准出错 | STDERR_FILENO | stderr |
当然你可以将标准输入 输出 出错重定向
但我们打开一个文件时,系统返回的文件描述符必定是当前最小可用的文件描述符的值,由于0 1 2 都已经被用了,所以第一次调用返回的肯定是3
文件偏移量
是当前读取位置到文件开头处计算的字节数,通常是一个非负数(有例外),就相当于标记现在的“光标”在文件的哪个位置,通常读、写等操作都是在当前文件偏移量下进行的。我们在操作前应当确定文件偏移量在哪。
普通文件中,文件偏移量必定是非负整数
但是设备文件中,文件偏移量有可能是负数
其他有关于文件名、权限、属性等基础知识
请看,Linux文件操作命令与基本知识 (一)
文件io
打开文件
原型
系统调用 : open 、openat,原型如下
int open(const char *path, int oflag, ... /*mode*/);
int openat(int fd, const char *path, int oflag, ... /*mode*/);
/* 返回值 : 若成功返回文件描述符,若失败返回 -1 */
open 和 openat 的区别在于 后者多了一个参数 fd , 其用法如下
- path 是绝对路径,fd将被忽略,open和openat等价
- path是相对路径,fd是指定了相对路径的开始地址 (打开的目录返回)
- path是相对路径,fd可写 AT_FDCWD,表示使用当前工作目录
参数 path用于指出文件的位置和文件名,只写文件名为当前目录。
参数oflag 是用于指定操作选项,可选择多个选项,用 | (或)连接
必选选项如下,而且下面的只能选一个
选项 | 功能 |
---|---|
O_RDONLY | 只读打开 |
O_WRONLY | 只写打开 |
O_RDWR | 读写打开 |
O_EXEC | 只执行打开 |
还有很多可选选项,以下列出常用的
选项 | 功能 | 补充 |
---|---|---|
O_APPEND | 每次写时,都追加在文件尾端 | append:增补 |
O_CREAT | 若文件不存在时创建它 | creat:创建 |
O_SYNC | 每次写时,等待物理操作完成再返回 | sync:同步 |
O_TRUNC | 若文件存在,打开选项中包含写时,将文件长度截为0 | trunc |
O_EXCL | 若同时指定了O_CREAT,而文件已经存在的话,将报错 | excl 除外的 |
O_DIRECTORY | 若path不是目录,则报错 | |
O_NOCTTY | 如果是一个终端设备,不分配为该进程的控制终端 | |
O_NONBLOCK | 如果path是一个FIFO、块设备、字符特殊文件则此选项为文件的本次打开和后续的 I/O操作设置非阻塞模式方式 |
注:更多选项,可使用目录 man 2 open查看
最后一个参数 …是可变长度的参数,只有创建文件时才有用,用于指定创建文件的权限,用数字设置权限的反思
数字设置权限方法可查看:Linux系统学习—用户管理及权限管理(三)
使用实例
以可读可写方式打开一个文件
int fd = -1;
fd = open("test.txt",O_RDWR);
打开一个文件,若不存在则创建
int fd = -1;
fd = open("test.txt",O_RDWR|O_CREAT,0666);
判断一个文件是否操作,存在返回-1,不存在则创建
int fd = -1;
open("test.txt",O_RDWR|O_CREAT|O_EXCL,0666);
创建文件
原型
int creat(const char *path, mode_t mode);
/* 若成功返回文件描述符,失败返回-1 */
两个参数和open一致,path表示路径和文件名,mode是指明创建权限
creat只能以只写方式打开创建的文件,如果你希望读文件,只能creat后关闭文件,再重新open
所以 在实际应用在比较少用到creat,在早期open还不能创建文件时才经常使用
现在我们经常用以下命令创建文件
open(path, O_RDWR|O_CREAT|O_TRUNC, mode);
修改文件偏移量
原型
off_t lseek(int fd, off_t offset, int whence);
/* 若成功返回新的文件偏移量,若失败返回-1*/
参数一,fd ,是文件标识符,通常fd都表示这个
参数二offset,与参数三whence相关
- whence 是 SEEK_SET时,文件偏移量设置为,距文件开头offset个字节处
- whence 是 SEEK_CUR时,文件偏移量设置为当前值+offset,offset可正可负
- whence 是 SEEK_END时,文件偏移量设置为文件长度+offset,offset可正可负
说明
当打开一个新文件时,除非设置了O_APPEND选项,否则文件偏移量为0
因为文件偏移量有可能是负数,所以测试是否成功,最好测试是否等于-1,而不是测试是否小于0
管道、FIFO、socket不能被设置文件偏移量,lseek时会返回-1
文件偏移量允许大于文件长度,这样子会在文件中形成一个空洞,就是存在一个没有被写过的区域,但是这个区域都会被读为0
使用实例
从文件开头5字节处开始操作
lseek(fd, 5, SEEK_SET);
当前位置后5字节开始写
lseek(fd, 5, SEEK_CUR);
在文件末位前5字节处
lseek(fd, -5, SEEK_END);
读文件
原型
ssize_t read(int fd, void *buf, size_t nbytes);
/* 成功返回读到的字节数,已到文件为返回0,出错返回-1*/
参数二是存放读取数据的内存的地址,一般定义一个char *buf用于存放
参数三,需要读取的字节数
说明
若读取正常,那返回值就是设置的需要读的字节数
但是有如下几种情况
- 在读到要求字节数之前就到了文件结尾,将返回实际读到的字节数,再读一次将返回0(文件结束)
- 在终端设备中读取时,一次只能读取一行 (可以改变)
- 在网络中读取,因为存在缓存,可能比实际的少
- 在面向记录的设备读取,一次只能读一个记录
使用实例
读取10字节
char buf[];
memset(buf,0,sizeof(buf)); //将buf清空
read(fd, buf, 10);
写文件
原型
ssize_t write(int fd, const void *buf, size_t nbytes);
/* 成功返回已经读到的字节数,出错返回-1*/
参数的定义基本与read一致
但是返回值一般与设置的nbytes一致,否则为出错了
一般出错为磁盘写满了,或者超过了进程的文件长度限制
使用实例
写一个字符串
#define name “guanfuxin”
write(fd, name, sizeof(name));
关闭文件
原型
int close(int fd );
/* 成功返回0,失败返回-1*/
关闭一个文件也会释放加在该文件上的所有记录锁(以后再谈)
当一个进程结束时,内核会自动关闭它打开的文件
但是还是最好自己写好关闭文件的代码
文件io实例
打开test.txt文件,若不存在则创建它,在末尾写入一个字符串,然后读取全部内容
#include <stdio.h>
#include <unistd.h>
#include <errno.h>
#include <string.h>
#include <fcntl.h>
#include <sys/stat.h>
#include <sys/types.h>
#define str "hello world"
int main( int argc, char **argv)
{
int fd = -1;
off_t offt = -1;
int rv = -1;
char buf[1024];
fd = open("test.txt", O_RDWR|O_CREAT|O_APPEND,0666); // 打开文件
if(fd == -1)
{
printf(" open error : %s \n", strerror(errno));
return -1;
}
printf("open succed fd[%d] \n " , fd);
rv = write(fd, str, sizeof(str)); //写入字符串
if( rv == -1)
{
printf(" write error : %s \n", strerror(errno));
goto clean;
}
printf("write succed rv[%d] \n", rv );
rv = lseek(fd, 0, SEEK_SET); // 将文件偏移量设置为文件开头
if(rv == -1)
{
printf("lseek error :%s \n", strerror(errno));
goto clean;
}
printf("lseek succed rv[%d] \n ", rv);
rv = read(fd, buf, sizeof(buf)); // 读取全部内容,假设文件没有超过1024
if(rv == -1)
{
printf("read error : %s \n",strerror(errno));
goto clean;
}
printf("read succed rv[%d],: %s \n", rv , buf); // 打印读取到的内容
clean:
close(fd);
return 0;
}
关于实例內的errno报错
linux中系统调用的出错原因都存储在int errno,这个变量是系统维护的,会存储就近发送的错误,下一次错误会覆盖这一次的错误
但是错误原因是以整数存储在errno中的,对程序员不友好,使用我们使用strerror可以将其转化为字符串形式的错误提醒
文件共享
Unix/linux系统支持在不同进程间共享打开文件
首先我们介绍内核用于所有I/O的数据结构
io的数据结构
内核使用了三种数据结构来表示打开的文件
-
每个进程的进程表中都有一个记录项,其中包含了文件描述符表,内有文件描述符和对应指向这个文件的指针
-
内核为所有打开的文件维持一张文件表,其中包含了文件状态标志,文件偏移量,指向文件v节点的指针
-
每个打开文件都有一个v节点,v节点还包含了i节点
注:Linux没有采用v节点,而是采用了一个与文件系统相关的i节点和一个与文件系统无关的i节点
两个进程打开同一个文件的关系图如下
画的比较丑,当大致关系如上,Linux中没有v节点,但是实现上也没有差别很大
原子操作
原子操作,就是一个不可分的操作,只调用一个函数调用完成,要么一次完成全部操作,要么全部不执行
假如我们写了一个程序,打开一个文件并在文件尾部写入内容,先使用open打开文件,再使用lseek将文件偏移量设置到文件末尾,然后再写
这样子的 程序在只有一个进程时是没有问题的,但是如果有两个以上的进程同时操作一个文件,就会有意想不到的问题,如下
进程a打开文件test,并将文件偏移量设置到了文件末尾,这时内核将进程a挂起,然后进程b运行,也打开了文件test,并在文件末尾写入了内容,等到进程a再次运行写入内容,这时候它写入的位置就不是在末尾了。
问题就在于,在两个函数调用之间,内核有可能临时将进程挂起
如果使用原子操作,就可以避免这样子的问题
函数pread 和 pwrite
原型
ssize_t pread(int fd, void *buf, size_t nbytes, off_t offset);
/* 成功返回读到的字节数,已到文件为返回0,出错返回-1*/
ssize_t pwrite(int fd, const void *buf, size_t nbytes, off_t offset);
/* 成功返回已经读到的字节数,出错返回-1*/
这两个函数和之前的read和write用法差不多
pread 相当于 先lseek 再read
pwrite 相当于 先lseek 再write
参数的定义也是一致的
两个函数作用就是,只用了一个原子操作完成了,设置文件偏移量和 读写的操作
其他文件io函数
复制文件描述符 :函数dup 和dup2
原型
int dup(int fd);
int dup2(int fd, int fd2);
/* 成功返回新的文件描述符,错误返回-1*/
两个函数的作用都是,将新的文件描述符,也指向文件描述符fd指向的文件,两个文件描述符恭喜文件表项(文件状态、文件偏移量一致)
通俗话来说就是,我们打开了文件test,返回的文件描述符为fd,这时我们调用
dup(fd),返回的新文件描述符new_fd 也指向文件test
dup返回的新文件描述符,一定是最小可用文件描述符
dup2可以指定新文件描述符的值为fd2,如果fd2已经打开,会先将其关闭,如果fd= fd2,则直接返回fd,不会关闭一次
常用dup2 来重定向标准输入输出
使用实例
dup2(fd, STDIN_FILENO); //标准输入重定向到fd指向文件中去
dup2(fd, STDOUT_FILENO); //标准输出重定向到fd指向文件中去
dup2(fd, STDERR_FILENO); //标准出错重定向到fd指向文件中去
刷新缓存 函数 sync、fsync、fdatasync
传统的Unix系统实现在内核设有区缓存和页缓存,大多数io操作都通过缓冲区进行,当我们写入文件时,并不会马上写入文件中,而是先写入在缓冲区中,排入队列,再写入磁盘。
为了保证文件内容的一致性,可以使用刷新缓存的函数调用
原型
int fsync(int fd);
int fdatasync(int fd);
/* 成功返回0,失败返回-1*/
void sync(void);
sync是将所有修改过的内容都排入写队列,然后就返回,并不等待写磁盘操作完成。
fsync 只对指定的文件起作用,等待写磁盘操作完成,才返回
fdatasync 类似于fsync,但是只影响数据部分,而fsync还会更新文件的属性
读取 / 修改文件属性 函数 fcntl
可以获取或改变文件的属性
原型
int fcntl(int fd, int cmd, ... /*int arg */);
/* 成功返回与cmd有关,失败返回-1*/
fcntl 的cmd与8种功能,后3种与记录锁有关,暂时不说
cmd取值 | 功能 | 第三个参数 |
---|---|---|
F_DUPFD | 复制文件描述符,作为函数值返回 | 设置新文件描述符的最小可取值 |
F_DUPFD_CLOEXEC | 复制文件描述符 | |
F_GETFD | 获取文件描述符标志,作为函数值返回 | |
F_SETFD | 设置文件描述符标志 | 新的标志 |
F_GETFL | 将文件标志作为函数值返回(open时设置的) | |
F_SETFL | 设置文件标志位第三个参数 | 新文件标志 |
F_GETOWN | 获取接收 SIGIO和SIGURG信号的进程id和组id | |
F_SETOWN | 设置接收 SIGIO和SIGURG信号的进程id和组id | 正值为一个进程id,负值代表进程组id(绝对值) |
使用实例
获取文件标志时,并不能直接获取全部文件标志。如需获取几个必选的文件标志需要需要& O_ACCMODE
val = fcntl(fd, F_GETFL, 0);
mode = val & O_ACCMODE; //获取必选的文件标志
if(val & O_APPEND) //获取可选的文件标志
printf( " .apend\n");
修改文件标志时,必须先获取之前文件标志,修改后再写入
负责直接写入,会导致之前的标志被刷掉
//添加
val = fcntl(fd, F_GETFL, 0);
val = val | O_APPEND;
fcntl(fd, F_SETFL, val);
//去除
val = fcntl(fd, F_GETFL, 0);
val = val & ~(O_APPEND);
fcntl(fd, F_SETFL, val);