IO知识学习

---

前言

最近学习IO相关知识，在此记录下来，供以后复习使用。

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、名词解释

1.kernel

kernel：操作系统内核。

2.VFS

virtual File System的缩写，文件虚拟系统。

3.FD

文件描述符（File descriptor）。

4.pagecache

缓存页。一般大小是4K。

5.dirty

。

6.flush

。

7.inode

内核处理文件的关键是inode，每个文件（和目录）都有且只有一个对应的inode（struct inode实例），其中包含元数据和指向文件数据的指针，但inode并不包含文件名。系统中所有的inode都有一个特定的编号，用于唯一的标识各个inode。文件名可以随时更改，但是索引节点对文件是唯一的，并且随文件的存在而存在。

二、文件类型

在Linux系统里面一切皆文件，通信就是IO；
目录树结构有一个映射的过程，树的一个节点就是一个文件；
1、普通文件
　　使用 ls -l 命令后，第一列第一个字符为 “-” 的文件为普通文件，如上图所示，普通文件一般为灰色字体，绿色字体的是可执行文件，红色字体的是压缩文件。
文件的权限：
　　以普通文件为例，使用 ls -l 命令，可以看到结果的第一列是 -rwxrwxrwx 的形式，其中第一个字符 “-” 表示这个文件为普通文件，它也可以是其他的字符，不同的字符代表不同类型的文件。其后的一串字符表明了该文件的权限，其中：
1）r 表明该文件具有可读权限，若该位置为 “-” ，则表明文件不可读；
2）w 表明该文件具有写权限，若该位置为 “-” ，则表明文件不可写；
3）x 表明该文件具有可执行权限，若该位置为 “-” ，则表明文件不具有可执行权限；
4）第一个 rwx 表示该文件的所有者对该文件的权限；第二个 rwx 表示该文件所属组对该文件的权限；第三个 rwx 表示其他用户对该文件的权限。
创建一个普通文件：
　　可以使用 touch 命令来创建一个文件：

touch newfile

删除一个普通文件：
　　可以使用 rm 命令来删除一个文件：

rm newfile

2、目录文件
　　Linux 中的目录也是文件，目录文件中保存着该目录下其他文件的 inode 号 和文件名等信息，目录文件中的每个数据项都是指向某个文件 inode 号的链接，删除文件名就等于删除与之对应的链接。目录文件的字体颜色是蓝色，使用 ls -l 命令查看，第一个字符为"d"（directory）。
目录文件的权限：
1）r 表明该目录文件具有可读权限，即可以使用 ls 命令查看该目录的存储情况；
2）w 表明该目录文件具有写权限，即可以往该目录下添加、修改、删除文件；
3）x 表明该目录文件具有可执行文件，即可以使用 cd 命令进入到该目录下。
　　可以使用 chmod 指令来改变文件的权限。
创建一个目录：
　　可以使用 mkdir 命令来创建一个目录文件：

mkdir directory

删除一个目录：
　　可以使用 rmdir 命令来删除一个空目录：

rmdir directory

如果该目录下有其他文件，则可以使用 rm -r 命令来递归删除该目录下的所有文件。需要注意的是，使用该命令将会删除该目录及目录下的所有数据，过程不可逆，需要谨慎使用：

rm -r directory

3、链接文件
　　链接文件一般指的是一个文件的软连接（或符号链接），使用 ls -l 命令查看，第一个符号为 “l”，文件名为浅蓝色，如下：
　　这里，test_softlink 就是一个链接文件，从结果上还可以看到它是文件 test.txt 的软链接，删除原文件 test.txt 的话，对应的软链接文件 test_softlink 也会消失。可以使用 ln 命令来创建一个文件的链接文件：

1）软链接
　　软链接（又称符号链接），使用 ln -s file file_softlink 命令可以创建一个文件的软链接文件：

ln -s test.txt test_softlink

软链接相当于给原文件创建了一个快捷方式，如果删除原文件，则对应的软链接文件也会消失。

2）硬链接
　　硬链接，相当于给原文件取了个别名，其实两者是同一个文件，删除二者中任何一个，另一个不会消失；对其中任何一个进行更改，另一个的内容也会随之改变，因为这两个本质上是同一个文件，只是名字不同。使用 ls -i 命令查看，可以发现硬链接的两个文件的 inode 号是一样的：
　　同样的，使用 ln 命令可以创建一个文件的硬链接：

ln test.txt test_hardlink

4、设备文件
　　Linux 中的硬件设备如硬盘、鼠标等也都被表示为文件，即为设备文件。设备文件一般存放在 /dev/ 目录下，文件名为黄色，如下：

设备文件分两种：

1）块设备文件：

块设备文件支持以块（block）为单位的访问方式。在 EXT4 文件系统中，一个 block 通常为 4KB 的大小，也就是说每次可以存取 4096（或其整数倍） 个字节的数据。应用程序可以随机访问块设备文件的数据，程序可以自行确定数据的位置，硬盘、软盘等都是块设备。使用 ls -l 命令查看，块设备文件的第一个字符是 “b”（block）。

2）字符设备文件：

字符设备文件以字节流的方式进行访问，由字符设备驱动程序来实现这种特性，这通常要用到 open、close、read、write 等系统调用。字符终端、串口和键盘等就是字符设备。另外，由于字符设备文件是以文件流的方式进行访问的，因此可以顺序读取，但通常不支持随机存取。使用 ls -l 命令查看，字符设备文件的第一个字符是 “c”（char）。

5、管道文件（FIFO文件）

管道文件主要用于进程间通信，使用 ls -l 命令查看，第一个字符为 “p”（pipe）。可以使用 mkfifo 命令来创建一个管道文件：

mkfifo fifo_file

在 FIFO 中可以很好地解决在无关进程间数据交换的要求，FIFO 的通信方式类似于在进程中使用文件来传输数据，只不过 FIFO 类型的文件同时具有管道的特性，在读取数据时，FIFO 管道中同时清除数据。

输入输出

Linux 任何程序都有 0：标准输入；1：标准输出；2：错误输出

#输出 当前目录下的结果到 ls.out 里面
ls ./ 1> ~/ls.out

文件描述符

当执行shell命令时，会默认打开3个文件，每个文件有对应的文件描述符来方便我们使用：

类型	文件描述符	默认情况	对应句柄位置
标准输入（standard input）	0	从键盘获得输入	/proc/self/fd/0
标准输出（standard output）	1	输出到屏幕（即控制台）	proc/self/fd/1
错误输出（error output）	2	输出到屏幕（即控制台）	/proc/self/fd/2

所以我们平时在执行shell命令中，都默认是从键盘获得输入，并且将结果输出到控制台上。但是我们可以通过更改文件描述符默认的指向，从而实现输入输出的重定向。比如我们将1指向文件，那么标准的输出就会输出到文件中。

输出重定向

输出重定向的使用方式很简单，基本的一些命令如下：

命令	介绍
command >filename	把标准输出重定向到新文件中
command 1>filename	同上
command >>filename	把标准输出追加到文件中
command 1>>filename	同上
command 2>filename	把标准错误重定向到新文件中
command 2>>filename	把标准错误追加到新文件中

我们使用>或者>>对输出进行重定向。符号的左边表示文件描述符，如果没有的话表示1，也就是标准输出，符号的右边可以是一个文件，也可以是一个输出设备。当使用>时，会判断右边的文件存不存在，如果存在的话就先删除，然后创建一个新的文件，不存在的话则直接创建。但是当使用>>进行追加时，则不会删除原来已经存在的文件。

管道

前面的输出作为后面的输入。

# head -8 test.txt 输出前8行， | 把前8行的结果 通过管道 流向 tail -1 把 最后一行取到。
head -8 test.txt | tail -1
#管道是有父子进程的关系。
# 每个{  } 都会启动一个子进程来运行，read x 等待键盘输入 , 
{ echo $BASHPID; read x; } | { cat ; echo $BASHPID; read y; }

下图显示了，两个管道连接起来了pipe 都是 pipe:[1127082]。

代码如下（示例）：

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import warnings
warnings.filterwarnings('ignore')
import  ssl
ssl._create_default_https_context = ssl._create_unverified_context

2.读入数据

代码如下（示例）：

data = pd.read_csv(
    'https://labfile.oss.aliyuncs.com/courses/1283/adult.data.csv')
print(data.head())

该处使用的url网络请求的数据。

---

总结

提示：这里对文章进行总结：
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。