Linux-基础IO_linux征途——基础io

+ [生成动态库](#_441)
+ - [运行动态库](#_455)

文件的宏观理解：

狭义理解：

1. 文件在磁盘里
2. 磁盘是永久性存储介质，因此文件在磁盘上的存储是永久性的
3. 磁盘是外设（即是输出设备也是输入设备）
4. 磁盘上的文件 本质是对文件的所有操作，都是对外设的输入和输出 简称IO

广义理解：

1. Linux下一切皆文件（键盘、显示器、网卡、磁盘……这些都是抽象化的过程）

文件操作的归类认知：

1. 对于0KB的空文件是占用磁盘空间的
2. 文件是文件属性（元数据）和文件内容的集合（文件=属性（元数据）+内容）
3. 所有的文件操作本质是文件内容操作和文件属性操作

系统角度：

1. 对文件的操作本质是进程对文件的操作
2. 磁盘的管理者是操作系统
3. 文件的读写本质不是通过C语言/C++的库函数来操作的（这些库函数只是为用户提供方便），而是通过文件相关的系统调用接口来实现的

文件IO相关操作

 int fputs(const char \*s, FILE \*stream);

   
   
   
   

• 1

fputs函数是将s所指向的数据往stream中所指向的文件中写

char \* fgets ( char \* str, int num, FILE \* stream )

   
   
   
   

• 1

注：

• 从流中读取字符并将它们作为 C 字符串存储到 str 中，直到读取 (num-1) 个字符或到达换行符或文件结尾，以先发生者为准。
• 换行符使 fgets 停止读取，但它被函数视为有效字符并包含在复制到 str 的字符串中。
• 在复制到 str 的字符之后会自动附加一个终止空字符。
• fgets 与 get 完全不同：fgets 不仅接受流参数，还允许指定 str 的最大大小并在字符串中包含任何结束的换行符。

fwrite的使用方法
补充：

• 当前路径指的是每个进程，都有一个内置的属性cwd
• fwrite函数如果size_t count传入的数正好将字符串内容全部传入到指定文本中则返回count，否则返回与count不同的数
• fwrite函数传入内容的大小正好是size_t size,和size_t count的乘积

stdin & stdout & stderr

• 任何C程序，都默认打开三个文件分别叫做标准输入（stdin）、标准输出（stdout）、标准错误（stderr）
• 标准输入（stdin）——键盘文件——读方法（read）
• 标准输出（stdout）、标准错误（stderr）——显示器文件——写方法（write）
• Linux下一切皆文件
• 所有的外设硬件，本质是对应的核心操作无外乎是read和write（不同的硬件对应的读写方式是不一样的）

注：

• 可以通过C接口，直接对stdin、stdout、stderr进行读写
• C默认会打开三个输入输出流，分别是stdin, stdout, stderr,这样做便于语言进行上手使用，都有输入输出的需求
• 几乎所有的编程语言都会默认会打开三个输入输出流stdin, stdout, stderr,
• 任何一种编程语言的文件操作相关的函数（库函数）底层都会调用系统调用接口（open、close、write、read，这些在Linux系统下有，但这些接口不具备可移植性）
• 语言上相关文件操作的库函数兼容自身语法特征，系统调用使用成本较高，而且不具备可移植性

系统文件I/O

open

#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>

int open(const char pathname, int flags);
int open(const char pathname, int flags, mode_t mode);

pathname: 要打开或创建的目标文件
flags: 打开文件时，可以传入多个参数选项，用下面的一个或者多个常量进行“或”运算，构成flags。
参数:
O_RDONLY: 只读打开
O_WRONLY: 只写打开
O_RDWR : 读，写打开
这三个常量，必须指定一个且只能指定一个
O_CREAT : 若文件不存在，则创建它。需要使用mode选项，来指明新文件的访问权限
O_APPEND: 追加写
返回值：
成功：新打开的文件描述符
失败：-1

注：

• open 函数具体使用哪个，和具体应用场景相关，如目标文件不存在，需要open创建，则第三个参数表示创建文件的默认权限,否则，使用两个参数的open。
• O_RDONLY、O_WRONLY、O_RDWR……这些都是系统定义的宏，这些参数只占一个int整形中的一个比特位

注：write read close lseek…… 与C语言文件相关接口用法类似

文件描述符fd

注：

• 用户层看到的fd本质是系统中维护进程和文件对应关系的数组的下标
• 所谓的默认打开文件，标准输入，标准输出，标准错误，其实是由底层系统支持的，默认一个进程在运行的时候，就打开了0，1，2
• 对于进程来讲，对所有的文件进行操作，统一使用一套接口（一组函数指针），因此在OS看来一切皆文件

文件描述符就是从0开始的小整数。当打开文件时，操作系统在内存中要创建相应的数据结构来描述目标文件。于是就有了file结构体。表示一个已经打开的文件对象。而进程执行open系统调用，所以必须让进程和文件关联起来。每个进程都有一个指针files_struct*, 指向一张表files_struct,该表最重要的部分就是包涵一个指针数组，每个元素都是一个指向打开文件的指针！所以，本质上，文件描述符就是该数组的下标。只要拿着文件描述符，就可以找到对应的文件

补充：

• 标准输入、标准输出、标准错误在对应的文件描述符为0，1，2，对应C语言层上的是stdin、stdout、stderr
• 所有文件，如果要被使用时，首先必须被打开
• 一个进程可以打开多个文件，系统中被打开的文件一定有多个，多个被打开的文件，一定要被操作系统管理起来的（先描述（struct file（包含了目标文件的基本操作和部分属性）），再组织（双链表））
• 打开文件的过程：先在fd_array数组中找一个最小的没有被使用的数组下标位置，然后把新open出的文件的结构体地址填入到数组中去，对应该地址的下标返回给对应的进程
• fd：本质是进程和文件之间对应关系的数组的下标，有了fd就可以找到打开文件的所有细节

文件描述符的分配规则

总结：

• 文件描述符的分配规则：在files_struct数组当中，找到当前没有被使用的
  最小的一个下标，作为新的文件描述符
• Linux进程默认情况下会有3个缺省打开的文件描述符，分别是标准输入0， 标准输出1， 标准错误2

重定向

补充：程序替换的时候不会影响重定向对应的数据结构的数据（程序替换影响的是进程虚拟地址空间部分，而重定向影响的是files_struct部分）

使用 dup2 系统调用

#include <unistd.h>
int dup2(int oldfd, int newfd);

注：

• newfd使oldfd的一份拷贝，不是拷贝fd而是拷贝fd对应的fd_array数组中的内容

FILE

因为IO相关函数与系统调用接口对应，并且库函数封装系统调用，所以本质上，访问文件都是通过fd访问的。因此C库当中的FILE结构体内部，必定封装了fd

typedef struct \_IO\_FILE FILE; 在/usr/include/stdio.h
在/usr/include/libio.h
struct \_IO\_FILE {
 int _flags; /\* High-order word is \_IO\_MAGIC; rest is flags. \*/
#define \_IO\_file\_flags \_flags
 //缓冲区相关
 /\* The following pointers correspond to the C++ streambuf protocol. \*/
 /\* Note: Tk uses the \_IO\_read\_ptr and \_IO\_read\_end fields directly. \*/
 char\* _IO_read_ptr; /\* Current read pointer \*/
 char\* _IO_read_end; /\* End of get area. \*/
 char\* _IO_read_base; /\* Start of putback+get area. \*/
 char\* _IO_write_base; /\* Start of put area. \*/
  char\* _IO_write_ptr; /\* Current put pointer. \*/
 char\* _IO_write_end; /\* End of put area. \*/
 char\* _IO_buf_base; /\* Start of reserve area. \*/
 char\* _IO_buf_end; /\* End of reserve area. \*/
 /\* The following fields are used to support backing up and undo. \*/
 char \*_IO_save_base; /\* Pointer to start of non-current get area. \*/
 char \*_IO_backup_base; /\* Pointer to first valid character of backup area \*/
 char \*_IO_save_end; /\* Pointer to end of non-current get area. \*/
 struct \_IO\_marker \*_markers;
 struct \_IO\_FILE \*_chain;
 int _fileno; //封装的文件描述符
#if 0
 int _blksize;
#else
 int _flags2;
#endif
 _IO_off_t _old_offset; /\* This used to be \_offset but it's too small. \*/
#define \_\_HAVE\_COLUMN /\* temporary \*/
 /\* 1+column number of pbase(); 0 is unknown. \*/
 unsigned short _cur_column;
 signed char _vtable_offset;
 char _shortbuf[1];
 /\* char\* \_save\_gptr; char\* \_save\_egptr; \*/
 _IO_lock_t \*_lock;
#ifdef \_IO\_USE\_OLD\_IO\_FILE
};

总结：

• FILE结构体中包含了int fileno的成员（也就是系统上的fd文件描述符）
• fopen、fwrite、fread、fclose等f系列的库函数都是由底层open、write 、read、close实现的，通过open的返回值传给fileno，从而对系统调用函数进行封装
• struct FILE内部包含：
• 1. 底层对应的文件描述符下标
• 2. 应用层C语言提供的缓冲区数据
• 所谓的默认打开文件，标准输入、标准输出、标准错误其实是由底层系统支持的，默认一个进程在运行的时候，就打开了0，1，2

一般C库函数写入文件时是全缓冲的，而写入显示器是行缓冲。printf fprintf等库函数会自带缓冲区，当发生重定向到普通文件时，数据的缓冲方式由行缓冲变成了全缓冲。而我们放在缓冲区中的数据，就不会被立即刷新，甚至fork之后但是进程退出之后，会统一刷新，写入文件当中。但是fork的时候，父子数据会发生写时拷贝，所以当你父进程准备刷新的时候，子进程也就有了同样的一份数据，随即产生两份数据。write 没有变化，说明没有所谓的缓冲
printf fputs等 库函数会自带缓冲区，而 write 系统调用没有带缓冲区。另外，我们这里所说的缓冲区，都是用户级缓冲区。其实为了提升整机性能，OS也会提供相关内核级缓冲区。 printf fprintf 是库函数， write 是系统调用，库函数在系统调用的“上层”， 是对系统调用的“封装”，但是 write 有内核级缓冲区，而 printf fwrite fputs等缓冲区是用户级缓冲区，由C标准库提供

注：系统调用函数与库函数尽量不要混在一起使用，可能会与统一使用的函数的运行结果有所差异

文件系统

文件：打开的文件、普通未打开的文件
打开的文件：属性与操作方法的表现就是struct file{} 属于内存级文件
普通未打开的文件：磁盘上面未被加载到内存的
文件系统功能：将上述的这些文件管理起来

磁盘

磁盘是计算机主要的存储介质，可以存储大量的二进制数据，并且断电后也能保持数据不丢失。早期计算机使用的磁盘是软磁盘（Floppy Disk，简称软盘），如今常用的磁盘是硬磁盘（Hard disk，简称硬盘）。

补充：

• 内存在操作系统的角度使用的时候，基本单位是4KB，但在使用角度是1字节
• 磁盘存储的基本单位是扇区（512字节）（磁盘读取的最小单元）
• 内存与磁盘间IO时，基本单位是4KB，是通过文件系统来完成的

磁盘的划分

我们可以将磁盘想象成磁带（线性结构），将磁盘看成一个线性空间（数组），类型为扇区的数组、数组个数为10亿多

这样划分就不用让OS读取数据时在哪个盘面、哪个磁道、哪个扇区找了，OS与磁盘映射关系可以通过磁盘驱动来完成，这样也就做到强解耦性。无论换机械硬盘还是固态硬盘，OS都不用改变读取磁盘数据的数据结构，只需改变磁盘的驱动程序即可

注：操作系统读取磁盘数据时的下标——LBA

• 磁盘经过在OS中的虚拟化成数组，但是所占空间太大，因此需要进行分区化管理，并对该区域进行格式化（写入文件系统（数据和方法））。eg：Windows中的C盘、D盘……
• 每个分区再进行分组——块组
• Linux系统下支持多种文件系统：Ext2、Ext3、fs、usb-fs、sysfs、proc

inode

Linux ext2文件系统，上图为磁盘文件系统图（内核内存映像肯定有所不同），磁盘是典型的块设备，硬盘分区被划分为一个个的block。一个block的大小是由格式化的时候确定的，并且不可以更改。例如mke2fs的-b选项可以设 定block大小为1024、2048或4096字节。而启动块（Boot Block）的大小是确定的，

• Block Group：ext2文件系统会根据分区的大小划分为数个Block Group。而每个Block Group都有着相同的结构组成。
• 超级块（Super Block）：存放文件系统本身的结构信息。记录的信息主要有：bolck 和 inode的总量，未使用的block和inode的数量，一个block和inode的大小，最近一次挂载的时间，最近一次写入数据的时间，最近一次检验磁盘的时间等其他文件系统的相关信息。Super Block的信息被破坏，可以说整个文件系统结构就被破坏了
• GDT，Group Descriptor Table：块组描述符，描述块组属性信息
• 块位图（Block Bitmap）：Block Bitmap中记录着Data Block中哪个数据块已经被占用，哪个数据块没有被占用
  

最全的Linux教程，Linux从入门到精通

======================

1. linux从入门到精通(第2版)

2. Linux系统移植

3. Linux驱动开发入门与实战

4. LINUX 系统移植 第2版

5. Linux开源网络全栈详解 从DPDK到OpenFlow

第一份《Linux从入门到精通》466页

====================

内容简介

====

本书是获得了很多读者好评的Linux经典畅销书**《Linux从入门到精通》的第2版**。本书第1版出版后曾经多次印刷，并被51CTO读书频道评为“最受读者喜爱的原创IT技术图书奖”。本书第﹖版以最新的Ubuntu 12.04为版本，循序渐进地向读者介绍了Linux 的基础应用、系统管理、网络应用、娱乐和办公、程序开发、服务器配置、系统安全等。本书附带1张光盘，内容为本书配套多媒体教学视频。另外,本书还为读者提供了大量的Linux学习资料和Ubuntu安装镜像文件，供读者免费下载。

本书适合广大Linux初中级用户、开源软件爱好者和大专院校的学生阅读，同时也非常适合准备从事Linux平台开发的各类人员。

需要《Linux入门到精通》、《linux系统移植》、《Linux驱动开发入门实战》、《Linux开源网络全栈》电子书籍及教程的工程师朋友们劳烦您转发+评论