【深入理解计算机系统】程序是如何运行的

【深入理解计算机系统】程序是如何运行的
1、首先我们来了解一下什么是程序
        程序是为求解某个特定问题而设计的指令序列。程序中的每条指令规定机器完成一组基本操作。如果把计算机完成一次任务的过程比作乐队的一次演奏，那么控制器就好比是一位指挥，计算机的其它功能部件就好比是各种乐器与演员，而程序就好像是乐谱。计算机的工作过程就是执行程序的过程，或者说，控制器是根据程序的规定对计算机实施控制的。

        简单来说：程序就是指令的集合，为使计算机按预定要求工作，首先要编制程序。程序是一个特定的指令序列，它告诉计算机要做哪些事，按什么步骤去做。指令是一组二进制信息的代码，用来表示计算机所能完成的基本操作。

2、程序是如何运行的
       现代计算机存储和处理的信息以二值信号表示，程序对于计算机而言就是一串二进制数据流，以流水线的方式进入CPU进行运算。主要在;CPU与内存之间进行数据传递。本文将从程序源码的结构与表现形式开始，到编译生成可执行文件，再到执行文件的加载，最终到执行文件的运行整个过程进行梳理。

3、计算机程序执行过程

1.将程序翻译成机器可读的格式

因为我们输入的hello, world程序是人可读的，机器并不能直接识别它们。我们需要把这些文字翻译成机器可执行的二进制文件。这一部分的工作是由编译系统完成的。编译系统由预处理器、编译器、汇编器、连接器四部分组成。以hello, world程序为例，各部分共同完成将源文件编译成二进制可执行文件。各个部分完成的具体工作如下：

l 预处理器：根据以#开头的命令，修改源程序。如根据#include <stdio.h>行，预处理器读取系统头文件stdio.h中的内容，代替此行内容。源程序经过预处理后，得到另一个c程序，此程序通常以.i为后缀保存。

l 编译器：将预处理后的.i文件转换成汇编程序。编译器将不同的高级语言(如c语言，C++语言)转换成严格一致的汇编语言格式进行输出。汇编语言以标准的文本格式确切的描述每机器语言指令。编译器得到的文件通常以.s为后缀保存。

l 汇编器：将汇编语言(.s文件)翻译成机器语言指令，并将这些指令打包成一种可定位目标程序格式。汇编后得到的文件即为二进制文件，通常以.o为后缀。

l 链接器：hello, world程序中调用过printf函数，它是一个c标准库里的函数。Printf函数存放在一个名为printf.o的单独预编译的文件中。而这个文件必须以适当的方式并入到我们的程序中，这个工作由链接器完成。将外部的.o文件并入后，得到一个完整的hello, world可执行文件。可执行文件加载到存储器后，由系统复制执行。

编译系统

在linux系统上，输入编译命令行：

Viidiot>gcc hello.c -o hello

将执行上图所示的四个步骤，得到可执行二进制文件hello。

3.处理器读取并解释存储在存储器中的指令

Shell:命令行解释器，为用户提供了一只与系统打交道的方式。它等待用户的输入，当用户输入一行命令后，shell先判断它是不是一个shell内置命令，如果不是，shell会假定用户输入为一个可执行文件的名字，从而去加载并执行该文件。因此，当我们通过编译系统将源文件编译成可执行二进制文件后，在shell中输入我们得到的可执行二进制文件名，shell将其从磁盘中加载到存储器(注：我们的可执行文件是存放在磁盘上的)，并通过处理器进行解释执行，得到最终的结果，输出到终端(显示器)上进行显示。自此，我们的hello, world程序完成了其生命周期。

4.计算机系统硬件结构

为了弄清楚hello, world运行时，系统究竟发生了什么，我们先来了解下一个典型的计算机硬件结构。

图3 典型的计算机硬件构成

【CPU：中央处理器   ALU：算术/逻辑运算单元  PC：程序计数器  USB：统一串行接口】

下面简单说一下各个部件在系统中所起的作用。

总线：在各个部件之间传输数据。现在的总线宽度一般为32位或者64位，即一次传输的数据为4字节或者8字节。

I/O设备：IO设备是系统与外界通信的通道，如鼠标，键盘，显示器都是典型的IO设备。

主存储器：简称主存，是处理器执行程序时用于临时存放程序及其数据。主存由一组动态随机存储器芯片组成。

处理器：解释执行存储在主存中的指令。其内部包含一个双字节程序计数器(PC)，任何时候PC中都存放着接下来要执行的机器指令在主存中的地址。

处理器的操作主要是围绕PC、ALU、主存来进行运作的。处理器首先从PC所指向的主存存储单元读取指令，解释指令中的位，执行该指令指示的简单操作，然后更新PC寄存器，使其指向下一条要执行的指令。CPU会执行的操作有：

加载：把一个字节或一个字从主存复制到寄存器，覆盖掉寄存器中原来的值。

存储：把一个字节或一个从寄存器复制到主存，并覆盖主存中原来的值。

操作：把两个寄存器的内容复制到ALU，ALU对两个字做算术运算后存回其中的一个寄存器，该寄存器中原来的值会被覆盖。

跳转：从cpu执行的指令抽取一个字的内容存入PC，覆盖掉原来的值，从而改变下一条要执行的指令，达到跳转的目的。

在了解了一些基本的硬件结构，以及各个部分的作用后，我们再来看看之前的hello, world程序的运行过程。

 加载可执行文件到主存的过程

在linux系统下，我们在shell中敲入以下命令

Viidiot>./hello

由于shell没有内置hello命令，因此shell将我们输入的hello视为一个可执行文件，从而通过执行一系列机器指令，将可执行文件hello从磁盘复制到主存，如图4所示。

注意，如果通过DMA方式加载程序，则不需要通过CPU，而是将hello可执行文件直接从磁盘复制到主存，示意图如图5。

DMA方式加载程序到主存

可执行程序加载到主存后，cpu就执行hello程序的机器指令，而这些指令完成的工作便是将”hello,world\n”这几个字符从主存中复制寄存器文件中(register file),再将其从寄存寄文件中复制到显示设备上进行显示。过程示意图如图6所示。

  cpu执行指令，将 “hello，world\n”从内存复制到显示设备

至此，hello，world程序的执行过程已经完成。

题外话：

从上面的程序实例我们可以看到，程序花费了大量的时间将数据从一个部件复制到另外一个部件。程序加载时，将hello程序的机器指令从磁盘复制到主存，程序运行时，又将其从主存复制到cpu，最后又从cpu复制到外部显示器。将根据机械原理，大容量的存储设备速度比小容量存储设备慢，快速设备的造价比慢速设备的造价高。对于计算机硬件系统，CPU的速度远高于主存的速度，而主存的速度远高于磁盘，不同部件的速度严重不对等，从而快的设备的性能没能得到充分发挥。为解决各类设备速度不匹配的问题，引入了高速缓存设备来缓解速度匹配问题。如图7所示，为加入了高速缓存后的系统部分结构。

高速缓存存储器

现代计算机为提高系统性能，一般都加入了多级缓存结构。高速缓存采样的是静态随机存储器硬件(SRAM)技术，速度快于主存(采样动态随机存储器技术)。如图8是存储器结构金字塔，越往上速度越快，造价也更昂贵。

 存储器金字塔

4.程序的结构与表现形式
        大多数计算使用8位的块，即字节（byte)，作为最小的可寻址的内存单元。程序对象，即程序数据、指令和控制信息的字节集合，编译器和系统运行时将存储空间划分成更可管理的单元来存储程序对象。

计算机执行机器代码，用字节序列编码低级的操作，包括处理数据、管理内存、读写存储设备上的数据、以及利用网络通信。程序源码会经过编译器生成机器代码，编译器基于编程语言的规则、目标机器的指令集合和操作系统遵循的惯例，经过一系列的阶段生成机器代码。汇编代码是机器代码的文本表示，给出程序中的每一条指令。

计算机系统使用了多种不同形式的抽象，利用抽象模型来隐藏实现的细节。对于机器级编程来说，两个重要的抽象：
1. 指令集架构（Instruction Set Architecture, ISA） 定义机器级别格式和行为，处理器状态、指令的格式，以及每条指令对状态的影响。
2. 虚拟内存地址，程序使用的内存地址是虚拟地址，提供内存模型看上去是一个非常打的字节数组。实际上又许多个硬件存储器和操作系统软件组合起来。

以C语言为例，编写程序mstore.c

long mult2(long, long);

void multistore(long x, long y, long *dest) {
    long t = mult2(x, y);
    *dest = t;
} 
经过gcc编译器，产生一个汇编文件mstore.s

multstore:
    pushq %rbx
    movq %rdx, %rbx
    call mult2
    movq %rax, (%rbx)
    popq %rbx
    ret
上面代码中每行对于一条机器指令，比如, pushq指令应该将%rbx的内容压入程序栈中。

再将改mstore.c编译并汇编成目标代码文件mstore.o，该二进制文件中，又一段14个字节的序列，它的十六进制表示为：

53 48 89 d3 e8 00 00 00 00 48 89 03 5b c3
为了弄清这些14个字节表示的含义，可以通过objdump 反汇编 该mstore.o 文件
可以看到，这14个字节分成若干组，左边是一条指令，右边是等价的汇编语言。

程序中包含过程、控制

过程
       是软件中一种重要的抽象。它提供了一种封装代码的方式，用一组制定的参数和一个可选的返回值实现了某一功能。然后，可以再程序中不同的地方调用这个函数。设计良好的软件用过程作为抽象机制，隐藏某个行为的具体实现，同时又提供清晰简洁的接口定义，说明计算的是哪些值，过程会对程序状态产生什么样的影响。不同编程语言中，过程的形式多样；函数（funciton）、方法（method）、子例程（subroutine）、处理函数（handler）等等。

要提供对过程的机器级支持，必须要处理许多不同的属性。为了讨论方便，假设过程P调用过程Q，Q执行后返回到P。这些动作包括一下一个或多个机制：

传递控制。再进入过程Q的时候，程序计数器必须被设置位Q的代码的起始地址，然后在返回时，要把程序计数器设置位P中调用Q后面那条指令的地址。
传递数据。P必须能够向Q提供一个或多个参数，Q必须能够向P返回一个值
分配和释放内存。在开始时，Q可能需要为局部变量分配空间，而在返回前，又必须释放这些存储空间。
x86-64的过程实现包括一组特殊的指令和一些对机器资源（寄存器和程序内存）使用的约定规则。

控制
        程序中的控制逻辑，例如条件语句if else， 循环for do-while等。机器级指令的执行，有两种方式实现条件控制，一种将控制条件进行传递，一种是将不同条件计算结构进行传递。后一种方式在现代计算机中能提高程序运行的效率，代码中的指令都是按照在程序中出现的次序，顺序执行的，使用jump指令可以改变一组机器代码指令的执行顺序，从而实现条件操作。

为了实现条件控制，CPU中维护了一组单个位的条件码（condition code） 寄存器，它们描述了最近的算数或逻辑操作的属性。可以通过检测这些寄存器来执行条件分支指令，通常条件码有，CF:进位标志；ZF:零标志。SF: 符号标志；OF：溢出标志。

运行时调用栈

大多数语言过程调用机制采用栈数据结构提供的后进先出的内存管理原则。过程P调用过程Q的过程，如果上图所示。

5、程序代码的编译过程

预处理阶段，主要是修改原始程序，例如将#include<stdio.h> 命令告诉预处理读取系统stdio.h的文件，并将它直接插入到程序文本中。结果得到的另一个C程序，以.i作为扩展名；
编译阶段，编译器ccl将文本hello.i翻译成文本hello.s，它包含一个汇编语言程序；
汇编阶段，汇编器将.s文件编译成一个二进制的文件，把这些指令打包成一种叫做可重定位的目标程序的格式，并将结果保存在目标文件.o文件中。
链接阶段，将各种代码和数据片段手机并组合并成可以执行的目标文件，简称可执行文件，可以被加载到内存中，由系统执行。

本节主要讨论链接阶段。链接可以执行与编译时，即将源代码翻译成机器代码时；可以执行与加载时，即程序被加载器加载到内存时；可以执行与运行时，也就是由应用程序来执行。

链接器是的分离编译（separate compilation）成为可能。我们不用将一个大型的应用程序组织成一个巨大的源文件，而时可以把它分解为更小、更好管理的模块。理解链接的工作原理可以帮助我们避免一些危险的编程错误、理解语言的作用域规则、理解一些重要概念（加载、运行程序、虚拟内存、分页、内存映射）、有助于理解共享库。

为了构造可执行的文件，链接器必须完成两个主要任务：

符号解析（symbol resolution）。 目标文件定义和引用符号，每个符号对应于一个函数、一个全局变量或一个静态变量。符号解析的目的时将每个符号引用正好和一个符号定义关联起来；
重定位(relocaiotn)。编译器和汇编器生成从地址0开始的代码和数据节。链接器通过把每个符号定义与一个内存位置关联起来，从而重定位这些节，然后修改所有对这些符号的引用，使得他们指向内存这个内存位置。链接器使用汇编器产生的重定位条目（relocation entry）的详细指令，不加甄别地执行这样的重定位。
目标文件分为三种：

可重定位目标文件，包含二进制代码和数据，其形式在编译时可以与其他可重定位目标文件合并起来，创建一个可执行目标文件；
可执行目标文件，包含二进制代码和数据，其形式可以被直接复制到内存并执行；
共享目标文件，一种特殊类型的可重定位目标文件，可以在加载或者运行时被动态地加载进内存并链接。
3 执行文件
可执行的目标文件，通过加载器，加载到内存，共CPU调用运行。

进程是执行中程序的一个具体实例，程序总是运行在某个进程的上下文中。

进程提供了给应用程序的关键抽象：

1.一个独立的逻辑控制流，程序计数器PC值序列叫做逻辑控制流，每个PC值对应可执行目标文件中的指令，或者是包含在运行是动态链接到程序的共享对象中的指令。
2.一个私有的地址空间，进程位每个程序提供一种假象，好像它独占地使用系统地址空间。例如，在一台64位地址的机器上，地址空间是264264 个可能地址的集合。进程为每个程序提供它自己的私有地址空间。一般而言，其他进程是不能访问该进程的地址空间所关联的内存字节。
每个私有地址空间有相同通用的结构，如下图所示

地址空间底部是保留给用户程序的，包括通常的代码、数据、堆和栈段。代码段总是从地址0x00400000开始。地址空间顶部保留给内核（操作系统常驻内存的部分）。地址空间的这部分包含内核在代表进程执行指令时使用的代码、数据和栈。
为了使操作系统内核提供一个无懈可击的进程抽象，处理器必须提供一种机制，限制一个应用可以执行的指令以及它可以访问的地址空间范围。处理器通常是用某个控制寄存器的一个模式为来提供这种功能，该寄存器描述了进程当前享有的特权。

进程运行有两种模式：
1. 内核模式（超级用户模式）
2. 用户模式

当设置了模式位时，进程就运行在内核模式中（超级用户模式）。一个运行在内核模式的进程可以执行指令集中的任何指令，并且可以访问系统的任何内存位置。

没有设置模式位时，进程运行在用户模式中。用户模式中的进程不允许执行特权指令（privileged instruction）,比如停止处理器、改变模式位、或者发起一个I/O操作。也不允许用户模式中的进程直接引用地址空间中内核区内的代码和数据。任何这样的尝试都会导致致命的保护故障。反之，用户程序必须通过系统调用接口间接地访问内核代码和数据。

操作系统内核使用一种称为上下文切换的较高层形式的异常控制流来实现多任务。内核为每个进程维持一个上下文明。上下文就是内核重新启动一个被抢占的进程所需状态。进程切换包含三个操作

1.保存当前进程的上下文
2.恢复某个先前被抢占的进程被保存的上下文
3.将控制传递给这个新恢复的进程

当进程A开始读取磁盘文件时，会通过执行系统调用read陷入到内核。内核中的陷进处理程序请求来自磁盘控制器的DMA传输，并且安排在磁盘控制器完成从磁盘到内存的数据传输后，磁盘终端处理器。

每个执行的程序，即系统中的进程，进程总可以处于下面三种状态：

1.运行，进程要么在CPU上执行，要么在等待被执行且最终会被内核调度；
2.停止，进程的执行被挂起，且不会被调度，当收到SIGSTOP、SIGTSTP、SIGTTIN或者SIGTTOU信号时，进制就会停止，并且 保持停止知道它收到一个SIGCONT信号，在这个时刻，进程再一次开始运行。
3.终止，进程永远地停止了。进程会因为三种原因终止：1）收到进程终止的信号，2）从主程序返回；3）调用exit函数。
加载并运行程序

当使用execve函数在当前进程的上下文中加载并运行一个新程序。
（fork是在父进程下，创建一个新的上下文运行子进程）

#include <unistd.h>
int execve(const char *filename, const char *argv[], const char *envp[]);
当使用execve加载filename之后，启动代码设置栈，并将控制传递给新程序的主函数。
用户栈的典型组织结构：

信号
除了操作系统利用异常来支持进程上下文切换的异常控制流形式，另外一种更高层次的软件形式的异常，成为Linux信号，它运行进程和内核中断其他进程。

一个信号就是一条小消息，它通知进程系统中发生了一个某种类型的事件。每种信号类型都对应于某种系统事件。底层的硬件异常是由内核异常处理程序处理的，正常情况下，对于用户进程而言是不可见的。信号提供了一种机制，通知用户进程发生了这些异常。比如，当进程在前台运行时，你键入Ctrl+C，那么内核就会发送一个SIGINT信号强制终止它。当一个子进程终止或者停止时，内核会发送一个SIGCHLD信号给父进程。

传送一个信号到目的进程是由两个不同步骤组成的

发送信号，内核通过更新目的进程上下文种的某个状态，发送一个信号给目的进程。发送信号可以由如下两种原因：1）内核检测到一个系统事件，比如除零错误。2）一个进程调用kill，显示要求内核发送一个信号给目的进程。一个进程可以发送信号给它自己
接受信号，当目的进程被内核强波以某种方式对信号的发送做出反应时，它就接收了信号。进程可以忽略这个信号，终止或者通过之心一个称为信号处理程序的用户曾函数捕获这个信号。
一个发出而没有被接收的信号，叫做处理信号，在任何时刻，一种类型至多只会由一个待处理信号。重复发送在等待的信号，将会被内核抛弃。
linux 提供两种阻塞机制，隐式和显式

1.隐式，即内核默认会阻塞当前处理程序接受到的待处理信号，正好与该待处理信号类型相同的信号已经被该处理程序所捕获。
2.显示阻塞机制，应用程序可以使用singprocmask函数和它的辅助函数，明确地阻塞和解除阻塞选定的信号。