Linux学习-2Linux文件与目录操作

最新推荐文章于 2024-06-22 17:51:58 发布

mingg____

最新推荐文章于 2024-06-22 17:51:58 发布

阅读量346

点赞数

文章标签： linux 操作系统

本文链接：https://blog.csdn.net/mingg____/article/details/107781317

版权

1 Linux文件系统概述

1.1 Linux文件系统特性

1.2 Linux与windows文件系统的区别

1 Linux文件系统概述

1.1 Linux文件系统特性

“一切皆文件”是Linux的基本哲学之一。
普通文件、目录、字符设备、块设备、套接字等在Linux中都是文件。
类型不同的文件都是通过相同的API对其进行操作。

1.2 Linux与windows文件系统的区别

1.3 Linux文件系统架构

1.4 虚拟文件系统（VFS）

是Linux内核中的软件层，对内实现文件系统的抽象，允许不同的文件系统共存，对外向应用程序提供统一的文件系统接口。

为了支持不同的文件系统，VFS定义了所有文件系统都支持的基本的、抽象的接口和数据结构。

1.4.1 VFS中的数据结构

超级块是对一个文件系统的描述
索引节点是对一个文件物理属性的描述
目录项是对一个文件逻辑属性的描述
一个进程所处的位置是由fs_struct来描述的，而一个进程（或用户）打开的文件是由files_struct来描述的，而整个系统所打开的文件是由file结构来描述

2 Linux文件的IO操作

2.1 Linux系统调用

系统调用：操作系统提供给用户程序调用的一组“特殊”接口，用户程序可以通过这组“特殊”接口来获得操作系统内核提供的服务。

系统调用并不是直接与程序员进行交互的，它仅仅是一个通过软中断机制向内核提交请求，以获取内核服务的接口。
在实际使用中程序员调用的通常是用户编程接口——API。
Linux中的系统调用包含在Linux的libc库中，通过标准的C函数调用方法可以调用。
系统命令相对API更高了一层，它实际上是一个可执行程序，它的内部调用了用户编程接口（API）来实现相应的功能。

2.2 文件描述符

文件描述符： 文件描述符是一个非负的整数，它是一个索引值，并指向在内核中每个进程打开文件的记录表。当打开一个现存文件或创建一个新文件时，内核就向进程返回一个文件描述符；当需要读写文件时，也需要把文件描述符作为参数传递给相应的函数。

一个进程启动时，通常会打开3个文件：

-----标准输入描述符为0

-----标准输出描述符为1

-----标准出错处理描述符为2

2.3 Linux文件IO函数说明

2.3.1 open函数

2.3.2 creat函数

2.3.3 close函数

2.3.4 read函数

2.3.5 write函数

2.3.6 ioctl函数（ioctl中命令码是唯一联系用户程序命令和驱动程序支持的途径）

3 Linux标准I/O库

为什么要设计标准I/O库？

直接使用API进行文件访问时，需要考虑许多细节问题，例如：read、write时，缓冲区的大小该如何确定，才能使效率最优。
read和write等底层系统调用函数进行输入输出时，在用户态和内核态之间来回切换，每次读出或写入的数据量较少，导致频繁的I/O操作，增加了系统开销。

它如何减少直接读盘次数的？

读取前查看是否已存在页缓存中，如果已经存放在了页缓存中，数据立即返回给应用程序。
写数据前先写到页缓存中，如果用户采用的是同步写机制（ synchronous writes ）, 那么数据会立即被写回到磁盘上，应用程序会一直等到数据被写完为止；如果用户采用的是延迟写机制（ deferred writes ），那么应用程序就完全不需要等到数据全部被写回到磁盘，数据只要被写到页缓存中去就可以了。

3.1 fopen函数

3.2 setbuf和setvbuf函数

3.3 fdopen函数

4 Linux文件定位

4.1 lseek函数

lseek常用于找到文件的开头、找到文件的末端，判定文件描述符的当前位置。
lseek仅将当前的文件偏移量记录在内核中，它并不引起任何I/O操作，然后该偏移量用于下一次读、写操作。
文件偏移量可以大于文件的当前长度，但并不改变相应的i节点信息。在这种情况下的下一次写将延长该文件，并在文件中构成一个空洞，但文件大小并不是文件的最大偏移量。对空洞位置的读操作将返回0。

Lseek实现空洞

4.2 pread函数

4.3 pwrite函数

pread/pwrite与read/write的区别

调用更容易使用，特别是在进行需要技巧的操作时
完成工作后不会改变文件指针
避免使用lseek时可能造成的竞争条件（如果有多个线程共享文件描述符，当地一个线程调用lseek之后，在它进行读取或写入操作之前，同一个程序中的另一个线程可能会改变文件的位置）

5 Linux文件共享

Linux支持不同进程间共享文件。内核使用的三种表（文件描述符表、文件表、索引结点表）之间的关系决定了在文件共享方面一个进程对另一个进程可能产生的影响。

每个进程在进程表中有一个文件描述符表，每个描述符表项指向一个文件表。
内核为每一个被打开的文件维护一张文件表，文件表项包含：文件的状态标志（读、写、同步、非阻塞）、文件当前位置、指向该文件索引节点表的指针
每个文件（或设备）都有一个索引节点，它包含了文件类型属性及文件数据。

5.1 进程共享文件

◼ 如果两个进程分别打开同一个的文件（物理文件），则它们有不同的文件表，因此每个进程有自己的文件当前位置，因此其读写操作互不影响。

◼ 也存在不同进程共享同一个文件表（父子进程），或同一进程共享同一个文件表（dup操作）。此时，两个进程对该文件的读写操作将基于同一个文件当前位置。

不同进程共享相同文件（一）

不同进程共享相同文件（二）

同一进程共享相同文件（一）

同一进程共享相同文件（二）

5.2 线程共享文件

◼ 线程的定义： 有时称轻量级进程，是进程中的一个执行线路或线索，是一个相对独立的、可独立调度和指派的执行单元

◼ 线程的创建： 应用程序可以通过一个统一的clone()系统调用接口，用不同的参数指定创建轻量进程还是普通进程。

clone()调用do_fork()创建线程， do_fork()参数为：

(CLONE_VM | CLONE_FS | CLONE_FILES | CLONE_SIGHAND）
CLONE_VM： do_fork()需要调用copy_mm()来设置task_struct中的mm和active_mm项，这两个mm_struct数据与进程所关联的内存空间相对应。如果do_fork()时指定了CLONE_VM开关，copy_mm()将把新的task_struct中的mm和active_mm设置成与current的相同，同时提高该mm_struct的使用者数目(mm_struct::mm_users)。也就是说，轻量级进程与父进程共享内存地址空间。
CLONE_FS： task_struct中利用fs(struct fs_struct *)记录了进程所在文件系统的根目录和当前目录信息，do_fork()时调用copy_fs()复制了这个结构;而对于轻量级进程则仅增加fs->count计数，与父进程共享相同的fs_struct。也就是说，轻量级进程没有独立的文件系统相关的信息，进程中任何一个线程改变当前目录、根目录等信息都将直接影响到其他线程。
CLONE_FILES： 一个进程可能打开了一些文件，在进程结构task_struct中利用files(struct files_struct *)来保存进程打开的文件结构(struct file)信息，do_fork()中调用了copy_files()来处理这个进程属性;轻量级进程与父进程是共享该结构的， copy_files()时仅增加files->count计数。这一共享使得任何线程都能访问进程所维护的打开文件，对它们的操作会直接反映到进程中的其他线程。
CLONE_SIGHAND： 每一个Linux进程都可以自行定义对信号的处理方式，在task_struct中的sig(struct signal_struct)中使用一个struct k_sigaction结构的数组来保存这个配置信息，do_fork()中的copy_sighand()负责复制该信息;轻量级进程不进行复制，而仅仅增加signal_struct::count计数，与父进程共享该结构。也就是说，子进程与父进程的信号处理方式完全相同，而且可以相互更改。
总结： 线程间所有文件结构都为共享资源，不但“文件表项”（file对象）是共享的，就连“文件描述符表”（files_struct结构）也是共享的。线程的创建仅仅增加的是files和fs的引用计数，“文件打开计数”（file对象的引用计数）并没有增加，所以任何一个线程对打开的文件执行close操作，文件都将关闭（文件打开计数为1的情况）。但是如果线程不进行打开文件的关闭，则文件直到进程结束时才会关闭，这就是使用多线程实现tcp服务器时，服务线程必须要显示调用close的原因，否则永远不会发送FIN终止链接（因为主线程一直处于监听不会结束）。

5.3 进程间文件描述符的传递

◼ 传递描述符的函数的参数是fd，fd是打开文件指针在数组中的下标

◼ 将一个文件描述符传递给另一个进程后，文件的“访问计数”会增加

◼ 进程间传递文件描述符可以看做跨进程的dup调用，也就是同一个file对象在不同进程间的映射

◼ 对于网络接口返回的描述符，只能采取传递文件描述符的方法。

◼ UNIX系统中两个方法：BSD sendmsg，recvmsg方法；SYSV ioctl方法

◼ 进程间传递文件描述符时，发送进程和接收进程共享同一文件表项

◼ 进程间文件描述符的传递，只是通过内核将接收文件的一个新file指针指向和发送进程的同一个file对象，并使这个file对象的引用计数增加