(整理类)文件描述符,文件描述符标志,文件状态标志

感谢和参考于(你们是我成长路上的最大助力!):

Linux中文件描述符fd和文件指针flip的理解
文件描述符标志、文件状态标志
Linux编程–文件描述符fd

---

PART 1

文件描述符:fd(file descriptor)
简单归纳:fd只是一个整数,在open时产生,起到一个索引的作用,进程通过PCB(Process Control Block)即进程控制块中的文件描述符表找到该fd所指向的文件指针flip.

open文件操作符的操作(如:open)返回的是一个文件描述符(int fd),内核会在每个进程空间中维护一个文件描述符表,所有打开的文件都通过此表中的文件描述符来引用(fd1,fd2,fd3…);
fopen:而流(如fopen)返回的是一个FILE结构指针,FILE结构是包含有文件描述符的,FILE结构函数可以看做是对fd直接操作的系统调用的封装,他的优点是带有I/O缓存.

Linux支持各种各样的文件系统格式,如ext2,ext3,reiserfs,FAT,NTFS,iso9660等等,不同的磁盘分区,光盘或其他的存储设备都有不同的文件系统格式,然而这些文件系统都可以mount到某个目录下,使我们看到一个统一的目录树,各种文件系统上的目录和文件我们用ls命令看起来是一样的,读写操作用起来也都是一样的,这是怎么做到的呢?Linux内核在各种不同的文件系统格式之上做了一个抽象层,使得文件,目录,读写访问等概念成为抽象层的概念,因此各种文件系统看起来用起来都一样(VFS的作用),这个抽象层成为虚拟文件系统(VFS,virtual file system).

每个进程在PCB(Process Control Block)即进程控制块中都保存着一份文件描述符表,文件描述符就是这个标的索引,文件描述符表中的每个表项都有一个指向已打开的文件的指针,现在我们明确一下:已打开的文件在内核中用file结构体表示,文件描述符表中的指针指向file结构体(理解:fd为打开文件的文件描述符,而每个进程都有一张文件描述表,fd文件描述符就是这张表的索引,同样这张表中有一表项,该表项又是指向前面提到打开文件的file结构体,file结构体才是内核中用于描述文件属性的结构体)

struct file – defined in include/linux/fs.h
struct file_operations – defined in include/linux/fs.h

struct file {
    union {
        struct llist_node    fu_llist;
        struct rcu_head     fu_rcuhead;
    } f_u;
    struct path        f_path;
#define f_dentry    f_path.dentry
    struct inode        *f_inode;    /* cached value */
    const struct file_operations    *f_op;

    /*
     * Protects f_ep_links, f_flags.
     * Must not be taken from IRQ context.
     */
    spinlock_t        f_lock;
    atomic_long_t        f_count;
    unsigned int         f_flags;
    fmode_t            f_mode;
    struct mutex        f_pos_lock;
    loff_t            f_pos;
    struct fown_struct    f_owner;
    const struct cred    *f_cred;
    struct file_ra_state    f_ra;

    u64            f_version;
#ifdef CONFIG_SECURITY
    void            *f_security;
#endif
    /* needed for tty driver, and maybe others */
    void            *private_data;

#ifdef CONFIG_EPOLL
    /* Used by fs/eventpoll.c to link all the hooks to this file */
    struct list_head    f_ep_links;
    struct list_head    f_tfile_llink;
#endif /* #ifdef CONFIG_EPOLL */
    struct address_space    *f_mapping;
#ifdef CONFIG_DEBUG_WRITECOUNT
    unsigned long f_mnt_write_state;
#endif
} __attribute__((aligned(4)));    /* lest something weird decides that 2 is OK */

struct file

struct file_operations {
    struct module *owner;
    loff_t (*llseek) (struct file *, loff_t, int);
    ssize_t (*read) (struct file *, char __user *, size_t, loff_t *);
    ssize_t (*write) (struct file *, const char __user *, size_t, loff_t *);
    ssize_t (*aio_read) (struct kiocb *, const struct iovec *, unsigned long, loff_t);
    ssize_t (*aio_write) (struct kiocb *, const struct iovec *, unsigned long, loff_t);
    int (*iterate) (struct file *, struct dir_context *);
    unsigned int (*poll) (struct file *, struct poll_table_struct *);
    long (*unlocked_ioctl) (struct file *, unsigned int, unsigned long);
    long (*compat_ioctl) (struct file *, unsigned int, unsigned long);
    int (*mmap) (struct file *, struct vm_area_struct *);
    int (*open) (struct inode *, struct file *);
    int (*flush) (struct file *, fl_owner_t id);
    int (*release) (struct inode *, struct file *);
    int (*fsync) (struct file *, loff_t, loff_t, int datasync);
    int (*aio_fsync) (struct kiocb *, int datasync);
    int (*fasync) (int, struct file *, int);
    int (*lock) (struct file *, int, struct file_lock *);
    ssize_t (*sendpage) (struct file *, struct page *, int, size_t, loff_t *, int);
    unsigned long (*get_unmapped_area)(struct file *, unsigned long, unsigned long, unsigned long, unsigned long);
    int (*check_flags)(int);
    int (*flock) (struct file *, int, struct file_lock *);
    ssize_t (*splice_write)(struct pipe_inode_info *, struct file *, loff_t *, size_t, unsigned int);
    ssize_t (*splice_read)(struct file *, loff_t *, struct pipe_inode_info *, size_t, unsigned int);
    int (*setlease)(struct file *, long, struct file_lock **);
    long (*fallocate)(struct file *file, int mode, loff_t offset,
              loff_t len);
    int (*show_fdinfo)(struct seq_file *m, struct file *f);
};

struct file_operations

1.file.File Status Flag和file.f_count
在file结构体中维护File Status Flag（file结构体的成员f_flags）和当前读写位置（file结构体的成员f_pos）。在上图中，进程1和进程2都打开同一文件，但是对应不同的file结构体，因此可以有不同的File Status Flag和读写位置。file结构体中比较重要的成员还有f_count，表示引用计数（Reference Count），后面我们会讲到，dup、fork等系统调用会导致多个文件描述符指向同一个file结构体，例如有fd1和fd2都引用同一个file结构体，那么它的引用计数就是2，当close(fd1)时并不会释放file结构体，而只是把引用计数减到1，如果再close(fd2)，引用计数就会减到0同时释放file结构体，这才真的关闭了文件。

2.file.file_operations
每个file结构体都指向一个file_operations结构体，这个结构体的成员都是函数指针，指向实现各种文件操作的内核函数。比如在用户程序中read一个文件描述符，read通过系统调用进入内核，然后找到这个文件描述符所指向的file结构体，找到file结构体所指向的file_operations结构体，调用它的read成员所指向的内核函数以完成用户请求(应用层到内核层的调用流程)。在用户程序中调用lseek、read、write、ioctl、open等函数，最终都由内核调用file_operations的各成员所指向的内核函数完成用户请求。file_operations结构体中的release成员用于完成用户程序的close请求，之所以叫release而不叫close是因为它不一定真的关闭文件，而是减少引用计数，只有引用计数减到0才关闭文件。对于同一个文件系统上打开的常规文件来说，read、write等文件操作的步骤和方法应该是一样的，调用的函数应该是相同的，所以图中的三个打开文件的file结构体指向同一个file_operations结构体。如果打开一个字符设备文件，那么它的read、write操作肯定和常规文件不一样，不是读写磁盘的数据块而是读写硬件设备，所以file结构体应该指向不同的file_operations结构体(也就有了用户自定义结构体对象或者内核自定义结构体对象)，其中的各种文件操作函数由该设备的驱动程序实现。

3.file.dentry
每个file结构体都有一个指向dentry结构体的指针，“dentry”是directory entry（目录项）的缩写。我们传给open、stat等函数的参数的是一个路径，例如/home/akaedu/a，需要根据路径找到文件的inode。为了减少读盘次数，内核缓存了目录的树状结构，称为dentry cache(作用)，其中每个节点是一个dentry结构体，只要沿着路径各部分的dentry搜索即可，从根目录/找到home目录，然后找到akaedu目录，然后找到文件a。dentry cache只保存最近访问过的目录项，如果要找的目录项在cache中没有，就要从磁盘读到内存中。

4.dentry.inode
每个dentry结构体都有一个指针指向inode结构体。inode结构体保存着从磁盘inode读上来的信息。在上图的例子中，有两个dentry，分别表示/home/akaedu/a和/home/akaedu/b，它们都指向同一个inode，说明这两个文件互为硬链接。inode结构体中保存着从磁盘分区的inode读上来信息，例如所有者、文件大小、文件类型和权限位等(inode有哪些参数，正常理解file结构体可能包含这些信息，其实是file.inode成员管理这些信息)。每个inode结构体都有一个指向inode_operations结构体的指针，后者也是一组函数指针指向一些完成文件目录操作的内核函数。和file_operations不同，inode_operations所指向的不是针对某一个文件进行操作的函数，而是影响文件和目录布局的函数，例如添加删除文件和目录、跟踪符号链接等等，属于同一文件系统的各inode结构体可以指向同一个inode_operations结构体。

5.inod.super_block
inode结构体有一个指向super_block结构体的指针。super_block结构体保存着从磁盘分区的超级块读上来的信息，例如文件系统类型、块大小等。super_block结构体的s_root成员是一个指向dentry的指针，表示这个文件系统的根目录被mount到哪里，在上图的例子中这个分区被mount到/home目录下。

file、dentry、inode、super_block这几个结构体组成了VFS的核心概念。对于ext2文件系统来说，在磁盘存储布局上也有inode和超级块的概念，所以很容易和VFS中的概念建立对应关系。而另外一些文件系统格式来自非UNIX系统（例如Windows的FAT32、NTFS），可能没有inode或超级块这样的概念，但为了能mount到Linux系统，也只好在驱动程序中硬凑一下，在Linux下看FAT32和NTFS分区会发现权限位是错的，所有文件都是rwxrwxrwx，因为它们本来就没有inode和权限位的概念，这是硬凑出来的。

---

PART 2

文件状态标志:指明文件的状态属性，它们由open的flags参数指明。与“文件描述符标志对应进程”不同，文件状态标志由与同一次打开文件相连的所有重复文件标志符所共享（涉及dup时，只要共享文件表项即共享fd status flag）

文件状态标志分类

1、访问方式标志：指明允许文件标志符用于读、写或两者兼之，包括O_RDONLY、O_WRONLY和O_RDWR。
这些访问方式在文件被打开时选定，之后便不能再改变。
可以通过fcntl函数获取文件访问方式。——因为读和写访问方式不是各占一位，因此获取文件访问方式的可移植方法是用屏蔽字O_ACCMODE先与文件状态标志值作按位与操作（’&’）得到访问方式位，再将结果与这3个值逐一比较（APUE set_fl函数）。

2、打开时标志：指明打开文件时影响open行为的一些选项。
这些选项除了O_NONBLOCK其他的一旦文件打开就不再保留，因为O_NONBLOCK同时也是一个I/O操作方式，故此标志被保留。

• O_CREAT：若设置，当该文件不存在时创建并打开此文件。
• O_EXCL：若O_CREAT和O_EXCL同时设置，当指定的文件已经存在时open失败。保证不破坏已存在的文件。
• O_TRUNC：截断文件为零长度，这一选项只对普通文件有用，对诸如目录或FIFO之类的特殊文件无用。
• O_NONBLOCK：防止为打开文件而阻塞很长时间。这通常仅对设备、网络、管道文件才有意义。此标志同时也作为I/O操作方式标志，这意味着在open中指明O_NONBLOCK就同时设置了非阻塞I/O方式。因此要非阻塞地打开一个文件且不影响正常的阻塞I/O，必须先设置O_NONBLOCK调用open，然后调用fcntl关闭此位。

3、I/O操作方式标志：使用fd读/写的工作方式。这些标志由open()设置，之后可以用fcntl()获取和改变。

• O_APPEND：用于追加写。若此位设置，所有write()操作写数据至文件尾而不管文件位置在何处。这是附加数据至文件尾唯一可靠的方法。用附加方式可以保证无论是否有其他进程正在写同一个文件，write()操作总是将数据写在当前文件尾。相反，在未设置此位的情况下，如果通过简单地移动文件位置到文件尾，然后再写数据，则在设置文件位置之后开始写之前，可能有其他进程扩展此文件（对应于两个不同的进程打开同一个文件的情形，它们共享同一个vnode，但各自有自己的系统打开文件表，因而有自己的文件位置），从而导致所写的数据出现在实际文件尾之前的某个地方。
• O_NONBLOCK：用于非阻塞I/O。
• O_ASYNC：用于信号驱动的I/O（异步I/O）。若此位设置，当文件标志符中有输入数据时会生成SIGIO信号。
• O_SYNC：用于同步I/O。若此位设置，文件按同步I/O方式打开，并将导致任何写该文件的操作都阻塞调用进程直至内核I/O缓冲区的数据以及与此次写有关的文件属性已全部写至物理存储介质。
• O_DSYNC：用于同步数据I/O。若此位设置，文件按同步I/O方式打开，并将导致任何写该文件的操作都阻塞调用进程直至内核I/O缓冲区的数据已全部写至物理存储介质。但如果所写的数据不影响读刚写入的数据，则不等待文件属性更新。
• O_RSYNC：若此位设置，文件按同步I/O方式打开，并将导致任何读该文件的操作都将等待所有写入同一区域的写操作按O_DSYNC和O_SYNC完成后再进行。如果同时设置了O_SYNC 和 O_RSYNC标志，则读操作将阻塞直到文件的访问时间属性已写至物理存储介质。如果同时设置了O_DSYNC 和 O_RSYNC标志，则读操作将阻塞直到所有与保持文件完整性有关的数据都已写至物理存储介质。
  简单地说，O_SYNC、O_DSYNC和O_RSYNC这几个标志的主要作用是使数据直接写到磁盘或直接从磁盘读入。