Linux环境编程03

内存管理总结：
    1、mmap/munmap  底层是不维护任何东西，只返回一个映射后的内存首地址，所映射的内存位于堆中
    2、brk/sbrk 底层维护一个指针，记录了所映射的内存结尾下一位，所映射的内存也是位于堆中，底层调用了mmap/munmap
    3、malloc/free底层维护一个双向链表和必要的维护信息，所映射的内存也是位于堆中，底层调用了brk/sbrk
    4、每个进程都有4G(32位操作系统)的虚拟内存空间，虚拟内存只是个数字，必须与物理内存建立映射关系才能使用
    5、平时所说的内存的分配和释放有两层含义：
        a、权限的分配和释放
        b、映射关系的建立和取消
    6、重点不是sbrk/brk/mmap/munmap函数的用法，而是理解Linux系统的内存管理机制

一、系统调用(API)
    系统调用就是操作系统提供的一些功能给程序员使用，这些功能已经被封装成C函数的形式，但它们不是标准C的一部分

    一般应用程序运行在用户态(使用的是[0~3G)的虚拟内存)，系统调用时工作在内核态(使用的是[3~4G)的虚拟内存)

    常用的标准库函数绝大部分时间运行在用户态，底层偶尔也会调用系统调用进入内核态

    系统调用时运行就是内核代码，内核代码属于内核的一部分，该代码的外部接口以函数形式定义在共享库中(linux-gate.so    ld-linux.so.2)  ldd ./a.out

    time ./a.out
    real    0m0.012s    执行总用时
    user    0m0.000s    用户态执行时间
    sys     0m0.000s    内核态执行时间

二、一切皆文件
    UNIX/Linux  为操作方便把所有的服务、设备等内容都抽象成了文件的形式，并提供了一套简单而统一的接口，这部分接口称为系统文件IO
    也就是说UNIX/Linux把任何对象都可以当做文件处理，以文件的形式来访问
    文件分类：
        普通文件        -   包括纯文本文件、二进制文件、各种压缩文件
        目录文件        d   类似Windows文件夹(必须有执行权限才能进入)
        块设备文件      b   保存大块数据的设备，例如硬盘
        字符设备文件    c   例如键盘、鼠标等等
        链接文件        l   类似Windows的快捷方式
        管道文件        p   
        Socket文件      s   通常用于网络数据链接

三、文件相关的系统调用
    #include <sys/types.h>
    #include <sys/stat.h>
    #include <fcntl.h>

    int open(const char *pathname, int flags);
    功能：打开文件
    pathname：文件的路径
    flags：打开文件的方式
        O_RDONLY    只读 
        O_WRONLY    只写
        O_RDWR      读写
        O_APPEND    追加，文件位置指针在末尾
        O_CREAT     文件不存在则创建
        O_EXCL      文件存在则创建失败
        O_TRUNC     如果文件存在则清空
        
    返回值：文件描述符，类似于标准库函数中的FILE*，代表了一个打开的文件，成功返回非负数，失败返回-1

    int open(const char *pathname, int flags, mode_t mode);
    功能：创建文件
    pathname：文件的路径
    flags：打开文件的方式
        只能写O_CREAT
    mode：权限掩码  0644   S_IRUSR|S_IWUSR|S_IRGRP|S_IROTH
        S_IRWXU  00700 拥有者 读写执行权限
        S_IRUSR  00400 拥有者 读权限
        S_IWUSR  00200 拥有者 写权限
        S_IXUSR  00100 拥有者 执行权限

        S_IRWXG  00070 同组 读写执行权限
        S_IRGRP  00040 同组 读权限
        S_IWGRP  00020 同组 写权限
        S_IXGRP  00010 同组 执行权限

        S_IRWXO  00007 其它 读写执行权限
        S_IROTH  00004 其它 读权限
        S_IWOTH  00002 其它 写权限
        S_IXOTH  00001 其它 执行权限

    int creat(const char *pathname, mode_t mode);
    功能：创建文件 
    mode：同open的mode 
    返回值：文件描述符 

    练习1:
        测试fopen的打开方式与open的对应关系 strace ./a.out
        r       O_RDONLY
        r+      O_RDWR
        w       O_WRONLY|O_CREAT|O_TRUNC, 0666
        w+      O_RDWR|O_CREAT|O_TRUNC, 0666
        a       O_WRONLY|O_CREAT|O_APPEND, 0666
        a+      O_RDWR|O_CREAT|O_APPEND, 0666

    #include <unistd.h>
    ssize_t write(int fd, const void *buf, size_t count);
    功能：把内存中的数据写入到文件中
    fd：文件描述符，也就是open的返回值
    buf：待写入的内存首地址
    count：要写入的字节数
    返回值：成功写入的字节数

    ssize_t read(int fd, void *buf, size_t count);
    功能：从文件中读取数据到内存中
    fd：文件描述符
    buf：数据存储的内存首地址
    count：想要读取的字节数
    返回值：实际读取到的字节数

    int close(int fd);
    功能：关闭文件
    返回值：成功返回0，失败返回-1

    练习2：分别用标准IO和系统IO写入一百万个整数到文件中，测试谁更快，为什么？
    系统IO                    
    real    0m1.561s                       
    user    0m0.076s                       
    sys        0m1.232s       

    标准IO
    real    0m0.115s
    user    0m0.056s                     
    sys        0m0.004s  

    直接使用标准IO比系统IO写入的速度更快，原因是标准IO有缓冲区机制，在写入数据时并不是直接调用系统IO，而是先把缓冲区填满，
    然后再调用系统IO把缓冲区中的数据一并写入到文件中，提高读写速度 
    直接使用系统IO会频繁地切换用户态和内核态，更加耗时

    如果我们也给系统IO增加一个缓冲区机制，它的速度就会比标准IO要快

    标准IO > 系统IO 
    系统IO + 缓冲区 > 标准IO       

四、随机读写：
    每个打开的文件都有一个记录着读写位置的文件位置指针，对文件的读写操作都从该指针指向的位置进行，位置指针会随着读写操作而增加移动
    一个打开的文件，位置指针指向开头，如果使用O_APPEND，则在文件末尾
    如果想要随意读取文件中的任意位置的数据，可以通过调整位置指针来实现
    // 标准IO
    int fseek(FILE *stream, long offset, int whence);
    返回值：成功0，失败-1

    // 系统IO
    off_t lseek(int fd, off_t offset, int whence);
    fd：文件描述符
    offset：偏移量
    whence：基础位置
        SEEK_SET    文件开头
        SEEK_CUR    当前位置
        SEEK_END    文件末尾
    返回值：调整后文件位置指针所在的位置

   如果在越过文件末尾的位置写入数据，将在中间形成空洞，空洞会被计算入文件大小中，但是不会占磁盘空间

五、系统IO读写文本文件
    系统IO是没有fprintf/fscanf函数的，因此不能直接读写文本文件

    写文本文件：
        对象 sprintf 转换成字符串，然后在通过write写入文件
    读取文本文件：
        read字符串形式读取，然后再使用 sscanf 解析转换成对应的数据使用

六、文件描述符
    1、非负整数，代表一个打开的文件
    2、通过系统调用(open\creat)返回，也可以被内核空间引用
    3、它代表了一个内核对象(类似于FILE)，因为内核不能暴露该对象的地址，因此通过它来表示
    4、内核中有一张表记录了所有打开的文件对象，文件描述符就是访问这张表的下标，相当于访问文件对象的凭证

        内核中有三个默认打开的文件描述符
            0   标准输入    stdin
            1   标准输出    stdout
            2   标准错误    stderr

    文件描述符的复制：
    int dup(int oldfd);
    功能：复制一个已经打开的文件描述符
    返回值：返回一个没有用过的最小的文件描述符

    int dup2(int oldfd, int newfd);
    功能：复制成一个指定的文件描述符
    newfd：想要复制成的文件描述符，如果newfd已经打开，会先关闭，再复制
    返回值：返回newfd的值
    注意：复制成功后，相当于两个不同的文件描述符对应同一个打开的文件

    练习3：使用系统IO实现一个带覆盖测试的cp命令
            ./cp src dest
            目标文件存在，是否覆盖(y/n)?