进程
Linux内核把进程称为任务(task),进程的虚拟地址空间分为用户虚拟地址空间和内核虚拟地址空间,所有进程共享内核虚拟地址空间,每个进程有独立的用户虚拟地址空间。
进程有两种特殊形式:没有用户虚拟地址空间的进程称为内核线程,共享用户虚拟地址空间的进程称为用户线程,通常在不会引起混淆的情况下把用户线程简称为线程。共享同一个用户虚拟地址空间的所有用户线程组成一个线程组。
命名空间
Linux的命名空间机制提供了一种资源隔离的解决方案。PID,IPC,Network等系统资源不再是全局性的,而是属于特定的Namespace。Linux Namespace机制为实现基于容器的虚拟化技术提供了很好的基础,LXC(Linux containers)就是利用这一特性实现了资源的隔离。不同Container内的进程属于不同的Namespace,彼此透明,互不干扰。
Namespace是对全局系统资源的一种封装隔离,使得处于不同namespace的进程拥有独立的全局系统资源,改变一个namespace中的系统资源只会影响当前namespace里的进程,对其他namespace中的进程没有影响。
进程有以下标识符
(1)进程标识符(pid):进程所属的进程号命名空间到根的每层命名空间,都会给进程分配一个标识符。
(2)线程组标识符(tgid):多个共享用户虚拟地址空间的进程组成一个线程组,线程组中的主进程称为组长,线程组标识符就是组长的进程标识符。当调用系统调用clone传入标志CLONE_THREAD以创建新进程时,新进程和当前进程属于一个线程组。进程描述符的成员tgid存放线程组标识符,成员group_leader指向组长的进程描述符。
(3)进程组标识符:多个进程可以组成一个进程组,进程组标识符是组长的进程标识符。进程可以使用系统调用setpgid创建或者加入一个进程组。会话和进程组被设计用来支持shell作业控制,shell为执行单一命令或者管道的进程创建一个进程组。进程组简化了向进程组的所有成员发送信号的操作。
(4)会话标识符(sid):多个进程组可以组成一个会话。当进程调用系统调用setsid的时候,创建一个新的会话,会话标识符是该进程的进程标识符。创建会话的进程是会话的首进程。
线程组结构:一个线程组的所有线程链接在一条线程链表上,头节点是组长的成员thread_group,链表节点是线程的成员thread_group。线程的成员group_leader指向组长的进程描述符,成员tgid是线程组标识符,成员pid存放自己的进程标识符。
内核线程创建过程:在Linux内核中,新进程是从一个已经存在的进程复制出来的。内核使用静态数据构造出0号内核线程,0号内核线程分叉生成1号内核线程和2号内核线程(kthreadd线程)。1号内核线程完成初始化以后装载用户程序,变成1号进程,其他进程都是1号进程或者它的子孙进程分叉生成的;其他内核线程是kthreadd线程分叉生成的。
创建新的进程:
(1)fork(分叉):子进程是父进程的一个副本,采用了写时复制的技术。
(3)clone(克隆):可以精确地控制子进程和父进程共享哪些资源。这个系统调用的主要用处是可供pthread库用来创建线程。
clone是功能最齐全的函数,参数多,使用复杂,fork是clone的简化函数。
创建子进程的流程(_do_fork):
(1)调用函数copy_process以创建新进程。
(2)如果参数clone_flags设置了标志CLONE_PARENT_SETTID,那么把新线程的进程标识符写到参数parent_tidptr指定的位置。
(3)调用函数wake_up_new_task以唤醒新进程。
(4)如果是系统调用vfork,那么当前进程等待子进程装载程序。
copy_process流程:
1.调用 dup_task_struct 复制当前的 task_struct
2.检查进程数是否超过限制
3.初始化自旋锁、挂起信号、CPU 定时器等
4.调用 sched_fork 初始化进程数据结构,新进程设置优先级、调度策略、运行CPU等参数,并把进程状态设置为 TASK_RUNNING
5.复制所有进程信息,包括文件系统、信号处理函数、信号、内存管理等
6.调用 copy_thread_tls 初始化子进程内核栈
7.为新进程分配并设置新的 pid
函数dup_task_struct:函数dup_task_struct为新进程的进程描述符分配内存,把当前进程的进程描述符复制一份(及复制task_struct),为新进程分配内核栈。
函数wake_up_new_task:负责唤醒刚刚创建的新进程,把新进程的状态从TASK_NEW切换到TASK_RUNNING,为新进程选择一个负载最轻的处理器。把新进程插入运行队列。
装载程序:
如果程序的main函数被定义为下面的形式,参数指针数组和环境指针数组可以被程序的main函数访问:
int main(int argc,char *argc[],char *envp[]);
最终都调用函数do_execveat_common
1.调用open_exec()查找并打开二进制文件
2.调用sched_exec()找到最小负载的CPU,用来执行该二进制文件
3.调用bprm_mm_init()创建进程的内存地址空间,为新程序初始化内存管理.并调用init_new_context()检查当前进程是否使用4.自定义的局部描述符表;如果是,那么分配和准备一个新的LDT
5.调用prepare_binprm()检查该二进制文件的可执行权限;最后,kernel_read()读取二进制文件的头128字节(这些字节用于识别二进制文件的格式及其他信息,后续会使用到)
6.调用copy_strings_kernel()从内核空间获取二进制文件的路径名称
7.调用copy_string()从用户空间拷贝环境变量和命令行参数
8.至此,二进制文件已经被打开,struct linux_binprm结构体中也记录了重要信息, 内核开始调用exec_binprm执行可执行程序
释放linux_binprm数据结构,返回从该文件可执行格式的load_binary中获得的代码
每种二进制格式都表示为下面的数据结构
binfmts.png
ELF文件:ELF(Executable and Linkable Format)是可执行与可链接格式,主要有以下4种类型。
❑ 目标文件(object file),也称为可重定位文件(relocatable file),扩展名是“.o”,多个目标文件可以链接生成可执行文件或者共享库。
❑ 可执行文件(executable file)。
❑ 共享库(shared object file),扩展名是“.so”。
❑ 核心转储文件(core dump file)。
只有ELF首部的位置是固定的,其余各部分的位置和大小由ELF首部的成员决定。
elf.png
程序首部表就是我们所说的段表(segment table),段(segment)是从运行的角度描述,节(section)是从链接的角度描述,一个段包含一个或多个节。在不会混淆的情况下,我们通常把节称为段,例如代码段(text section),不称为代码节。
加载elf文件流程load_elf_binary
1.填充并且检查目标程序ELF头部
2.load_elf_phdrs加载目标程序的程序头表
3.如果需要动态链接, 则寻找和处理解释器段
4.检查并读取解释器的程序表头
5.flush_old_exec终止线程组中的其他线程
6.setup_new_exec设置内存映射布局
7.setup_arg_pages更新用户栈的标志位和访问位,把用户栈移到最终位置,并且扩大用户栈
8.把所有可加载段映射到进程的虚拟地址空间
9.setbrk把未初始化数据段映射到进程的用户虚拟地址空间,并设置堆的起始地址
10.得到程序的入口
11.create_elf_tables依次把传递ELF解释器信息的辅助向量、环境指针数组envp、参数指针数组argv和参数个数argc压到进程用户栈
12.start_thread开始程序
装载脚本程序
脚本程序的主要特征是:前两字节是“#!”,后面是解释程序的名称和参数。解释程序用来解释执行脚本程序。
源文件“fs/binfmt_script.c”定义的函数load_script负责装载脚本程序,主要步骤如下。
load_script.png