Jeff的linux环境编程第二天：内存管理与系统调用（要记的函数也太多了吧!）

一、内存管理

用户层 
    STL    自动分配/释放内存  调用C++
    C++    new/delete        调用C
    C      malloc/free       调用POSIX
    POSIX  brk/sbrk          调用Linux
    Linux  mmap/munmap       调用内核 
系统层
    kernal kmalloc/vmalloc 调用驱动
    driver get_free_page

二、进程映像

程序是存储在磁盘上的可执行文件，当执行程序时，系统会将可执行文件加载到同，内存中形成进程（一个程序可以同加载出多个进程）。

进程的内存空间分布就是进程映像，从低地址到高地址依次是：
    text 代码段 二进制指令，常量(字符串字面值，被const修改过的原data段的数据)
        只能读，如果修改会产生段错误
    data 数据段 初始化过的全局变量和静态变量
    bss  静态数据段 未初始化过的全局变量和静态变量
        该段内存会被清理为0。
    heap 堆 体量比较大的数据，结构变量
        手动管理，释放时间可控，空间大，使用时与指针配合
        使用麻烦，可能产生内存碎片和内存泄漏。
    stack 栈 局部、块变量
        大小有限，自动分配释放，不会产生内存碎片、泄漏
    environ 环境变量表 环境变量
        每个进程一份，修改并不会影响其它进程
    argv 命令行参数 
        程序执行时附加的参数
练习1：打印出每内存段的数据的地址，与该进程的内存记录文件对比。
printf("vi /proc/%d/maps\n",getpid());
scanf("%*c");

虚拟内存：

1、系统会为每个进程分4G的虚拟内存空间。
    32个0 ~ 32个1 地址范围。
2、用户只能使用虚拟地址，无法直接使用物理内存。
3、虚拟地址与物理内存进行映射才能使用，否则就会产生段错误。
4、虚拟地址与物理内存的映射由操作系统动态维护。
5、让用户使用虚拟地址一方面为了安全，另一方面操作系统可以让应用程序使用比实际物理内存更的地址空间。
6、4G的虚拟地址分为两部分
    [0~3) 用户空间
    [3~4) 内核空间
7、用户空间中的代码不能直接访问内核空间代码和数据，可以通过调用系统API切换到内核态，间接的与内核交换数据。
8、对虚拟内存越界访问（使用没有映射过的内存）将导致段错误。

映射虚拟内存与物理内存的函数：

#include <unistd.h>

注意：系统映射内存时是以页(1页=4096byte)为单位的。
系统内存维护一个指针指向内存映射的最后一个字节的下一个位置。

void *sbrk(intptr_t increment);
功能：根据增量参数调整该指针的位置，既能映射也能取消映射。
increment：增量
    0 获取指针的位置
   <0 取消释放
   >0 映射内存
返回值：该指针原来的位置。

int brk(void *addr);
功能：直接用addr的值修改指针的位置。
addr：
    > 位置指针，映射内存
    < 位置指针，取消映射
返回值：成功返回0，失败返回-1。

注意：brk/sbrk是POSIX标准的内存映射函数，都有单独映射、取消映射的功能，但配合使用最方便。

#include <sys/mman.h>
void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);
功能：映射虚拟内存与物理内存，sbrk和brk底层调用的就是它们。
addr：映射内存区域的起始地址，可以自己指定，如果是NULL则系统帮你指定。
length：映射的字节长度
port：映射的权限
    PROT_EXEC  执行权限
    PROT_READ  读权限
    PROT_WRITE 写权限
    PROT_NONE  没有权限
flags：映射标志
    MAP_FIXED 如果提供的addr无法映射，则失败，系统不会自动调整。
    MAP_ANONYMOUS 将虚拟映射到物理内存，而不是文件，忽略fd等参数。
    MAP_SHARED 对映射区域的写操作直接反映到文件中。 
    MAP_PRIVATE 对映射区域的写操作只反映到文件的缓冲区，不会真正写入文件。
    MAP_DENYWRITE 拒绝文件的写入操作
fd：文件描述符
offset：文件的偏移量
返回值：成功返回映射后的内存地址，失败返回0xFFFFFFFF

int munmap(void *addr, size_t length);
功能：取消映射
addr：映射内存区域的起始地址
length：内存字节数
返回值：成功返回0，失败返回-1。

内存管理总结：

1、mmap/munmap 底层不维护任何东西，只返回一个映射后的内存首地址，所映射的内存位于堆中。
2、brk/sbrk底层维护一个指针，记录所映射的内存结尾，所映射的内存也位于堆中，底层调用的是mmap/munmap。
3、malloc/free底层维护一个双向链表和必须的控制信息，所映射的内存也位于堆中，底层调用的是brk/sbrk。
4、每个进程都有4G(32位系统)的虚拟内存空间，虚拟内存只是个数据，必须与物理内存建立映射关系才能使用。
5、平时所说内存的分配与释放有两层含义。
    1、权限的分配与释放
    2、映射关系的取消与建立
6、重点是理解Linux系统的内存管理机制，而不是brk/sbrk/mmap/munmap的用法。

系统调用：

系统调用就是操作系统提供的一些功能供程序员们调用，这些调用已经被封装成了C函数的形式，但是它们不是标准C的一部分。

一般应用程序运行在用户态(使用的是0~3G的内存)，系统调用工作在内存态(使用的是3~4G的内存)。

常用的标准库函数大部分时间运行在用户态，底层偶尔也会调用系统调用进入内核态。

系统调用的代码是内核的一部分，其外部接口以函数定义共享库中（linux-gate.so，ld-linux.so），这些接口的实现利用软中断进入内核态执行真正的系统调用。

time a.out 测试程序的运行时间。
    real	0m0.181s 总执行时间
    user	0m0.000s 用户态执行时间
    sys	    0m0.000s 内核态执行时间

一切皆文件：

UNIX/Linux为操作系统把服务和设备都抽象成了文件，并提供了一套简单而统一的接口，这部分接口就是文件读写。
也就是说UNIX/Linux系统中的任何对象都可以被当作某种特殊的文件，以文件的形式访问。
文件分类：
    目录文件、设备文件、Socket文件、管道文件、普通文件、链接文件

文件相关的系统调用：

#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>

int open(const char *pathname, int flags);
功能：打开文件
pathname：文件的路径
flags：打开文件的方式
     O_RDONLY 只读
     O_WRONLY 只写
     O_RDWR   读写
     O_APPEND 追加，文件位置指针在末尾
     O_CREAT  文件不存在则创建
     O_EXCL   如果文件存在则创建失败
     O_TRUNC  如果文件存在则清空
     O_NDELAY 非阻塞，打开文件后的操作以非阻塞模式进行。
     O_SYNC   同步，写入数据后等待数据被写入到底层硬件后才返回。
     O_ASYNC  异步，当文件可读/写时向调用的进程发送信号SIGIO。
返回值：文件描述符，类似于标准库的FILE*，代表一个打开的文件。

int open(const char *pathname, int flags, mode_t mode);
功能：创建文件
flags：O_CREATE
mode:
    S_IRWXU  00700 拥有者 读写执行权限
    S_IRUSR  00400 拥有者 读
    S_IWUSR  00200 拥有者 写
    S_IXUSR  00100 拥有者 执行
    S_IRWXG  00070 同组   读写执行权限
    S_IRGRP  00040 同组   读
    S_IWGRP  00020 同组   写
    S_IXGRP  00010 同组   执行
    S_IRWXO  00007 其它   读写执行权限
    S_IROTH  00004 其它   读
    S_IWOTH  00002 其它   写
    S_IXOTH  00001 其它   执行

int creat(const char *pathname, mode_t mode);
功能：创建文件
mode：同open

练习1：
    测试出fopen的打开方式与open的对应
        w   O_WRONLY|O_CREAT|O_TRUNC 0666
        w+  O_RDWR|O_CREAT|O_TRUNC, 0666
        r   O_RDONLY
        r+  O_RDWR
        a   O_WRONLY|O_CREAT|O_APPEND, 0666
        a+  O_RDWR|O_CREAT|O_APPEND, 0666

#include <unistd.h>
ssize_t write(int fd, const void *buf, size_t count);
功能：把内存中的数据写入文件中
fd：文件描述术，也就是open的返回值。
buf：待写入的内存首地址
count：要写入的字节数
返回值：成功写入的字节数

ssize_t read(int fd, void *buf, size_t count);
功能：从文件中读取数据到内存
fd：文件描述术，也就是open的返回值。
buf：存储数据的内存首地址
count：想读取的字节数
返回值：实际读取到的字节数

int close(int fd);
功能：关闭文件
返回值：成功返回0，失败返回-1。

练习2：分别使用标准IO和系统IO写入一百万个整数到文件中，测试他们谁的速度更快，为什么？
    使用标准IO比直接使用系统IO更快，原因标准IO有缓冲区，在写数据时并不是直接调用系统IO，而先把缓冲区填满，然后再调用系统IO定入数据到文件。
    而直接使用系统IO会返回切换用户态和内存态，更加耗时，当我们给系统IO也增加个更大的缓冲区时，它的速度会比标准IO更快。
    标准IO > 系统IO
    系统IO+缓冲区 > 标准IO

随机读写：

每个打开文件都有一个记录读写位置的指针，也叫文件位置指针，对文件的读写操作都从指针指向的位置进行，并且位置指针会随着读写操作而增加。
一个打开的文件，位置指针就指向文件的开头，如果使用了O_APPEND，则在文件的末尾。
如果想随机读取文件中任何位置的数据，需要调整文件位置指针。
    // 标准IO
    int fseek(FILE *stream, long offset, int whence);
    返回值：成功返回0，失败返回-1。

    // 系统IO
    off_t lseek(int fd, off_t offset, int whence);
    fd：文件描述术，也就是open的返回值。
    offset：偏移值
    whence：基础位置
        SEEK_SET 文件开头
        SEEK_CUR 当前位置
        SEEK_END 文件末尾
    返回值：调整后的文件位置指针所在的位置。

在越过文件末尾的位置写入数据将形成空洞，空洞会计算在文件大小中，但不占用磁盘空间。

系统IO读写文本文件：

系统IO是没有fprintf/fscanf函数的，因此不能直接读写文本文件。

写文本文件：
对象 sprintf 转换成 字符串 然后再定入文件
读取文本文件：
按字符串形式读取，使用sscanf 转换成对应再使用。

文件描述符：

1、非负整数，代表打开的文件。
2、由系统调用返回(open)返回，可以被内核空间引用。
3、它代表着一个内核对象(就相当于FILE对像)，因为内存不能暴露它的内存地址，因此不能返回一个对象指针。
4、内核中有一张表记录所有打开的文件对象，文件描述符就是访问这张表的下标，因此文件描述也叫句柄，访问对象指针的凭证。

内核中有三个默认打开的文件描述符：
    0 标准输入 stdin
    1 标准输出 stdout
    2 标准错误 stderr

文件描述符的复制：
int dup(int oldfd);
功能：复制一个已经打开的文件描述符
返回值：返回一个当前没有用过的最小的文件描述符

int dup2(int oldfd, int newfd);
功能：复制一个指定的文件描述符
newfd：想要复制的文件描述符，如果已经被打开，则先关闭再复制。

注意：复制成功后，相当于两相文件描述符对就一个打开的文件。