计算机系统漫游

1.写在前面

笔者从去年开始兜兜转转换了好几家公司，同时也去外包做了几个月，讲道理，外包真的不要去，外包不当人是一个点，同时，你也不属于任何一个组，你会发现到头来，你没有完完整整的去做过一个项目，这样下去，人很容易废掉，笔者现在找了一家公司，离家比较近，同时也是比较闲，不会像上家的外包一样，年30还在家写项目，从来没有遇到这么忙的公司。现在能闲下来，我希望能够好好的学习，多积累一点有用的东西。今天读者打算开一个新的专栏，就是读书笔记，笔者会多看点书，然后将自己的一些读书的心得写下来。

2.本篇博客概述

3.什么是计算机系统与什么信息

计算机系统是由硬件和系统软件组成的，它们共同工作来运行应用程序。

信息就是位+上下文。

上面笔者给了对应的问题的答案，但是可能对读者来说，是比较抽象的，笔者打算通过一个程序来解释，这个程序就是我们在学习C语言的时候，写的第一个程序，具体的代码如下：

#include <stdio.h>
int main(){
  printf("hello world \n");
  return 0;
}

上面对应程序其实是生成一个hello.c的文件存到计算机的硬盘中去的，源程序实际上就是一个由值 0 和 1 组成的位(又称为比特)序列， 8 个位被组织成一组，称为字节。每个字节表示程序中的某些文本字符。大部分操作系统都是使用ASCII码表示，其实就是用一个唯一的单字节大小的整数值来表示每个字符。笔者这儿就不展示hello.c文件的ASCII码了。

从hello.c文件表示说明一个基本的思想：系统中所有的信息—— 包括磁盘文件、内存中的程序、内存中存放的用户数据以及网络上传送的数据，都是由一串比特表示的。区分不同数据对象的唯一方法是我们读到这些数据对象时的上下文。比如，在不同的上下文中，一个同样的字节序列可能表示一个整数、浮点数、字符串或者机器指令。

4.程序如何编译到运行的

既然谈到了hello.c,那我们就有必要谈下这个程序的生命周期，这个程序怎么在系统运行起来，这就是本节的重要的内容。每条 C 语句都必须被其他程序转化为一系列的低级机器语言指令。然后这些指令按照一种称为可执行目 标程序的格式打好包，并以二进制磁盘文件的形式存放起来。 目标程序也称为可执行目标文件。

在Unix操作系统中，从源文件到目标文件的转化是由编译器驱动程序完成的：

gcc -o hello hello.c

这个翻译有四个过程，具体的如下图：

笔者会对对应的各个的阶段作解释，具体的如下：

• 预处理阶段。预处理器（CPP)根据以字符 #开头的命令，修改原始的 C 程序。比如hello.c 中第 1 行的 #include < stdio.h> 命令告诉预处 理器读 取系统 头文件stdio.h 的内容，并把它直接插入程序文本中。 结果就得到了另一个 C 程序，通常是以.i 作为文件扩展名。
• 编译阶段。 编译器(ccl)将文本文件 hello.i 翻译成文本文件 hello.s，它包含一个汇编语言程序。
• 汇编阶段。接下来， 汇编器(as)将 hello.s 翻译成机器语言指令，把这些指令打包成一种叫做可重定位目 标程序（relocatable object program)的格式，并将结果保存在目标文件 hello.o中。 hello.o 文件是一个二进制文件，它包含的 17 个字节是函数 main的指令编码。
• 链接阶段。请注意， hello 程序调用了 printf 函数，它是每个 C 编译器都提供的标准 C 库中的一个函数。 printf 函数存在于一个名为 printf .o 的单独的预编译好了的目标文件中， 而这个文件必须以某种方式合并到我们的 hello.o程序中。链接器(Id)就负责处理这种合并。结果就得到 hello 文件，它是一个可执行目 标文件(或者简称为可执行文件）， 可以被加载到内存中，由系统执行。

笔者已经带着大家了解了一遍翻译的过程，那么了解翻译的过程有什么好处呢？笔者认为有如下几个方面：

• 优化程序性能：现代编译器都是成熟的工具，通常可以生成很好的代码。作为程序员， 我们无须为了写出高效代码而去了解编译器的内部工作。但是，为了在 C 程序中做出好的编码选择，我们确实需要了解一些机器代码以及编译器将不同的 C 语句转化为机器代码的方式。
• 理解链接时出现的错误：根据我们的经验，一些最令人困扰的程序错误往往都与链接器操作有关，尤其是当你试图构建大型的软件系统时。
• 避免安全漏洞：多年来，缓冲区溢出错误是造成大多数网络和 Internet 服务器上安全漏洞的主要原因。 存在这些错误是因为很少有程序员能够理解需要限制从不受信任的源接收数据的数量和格式。学习安全编程的第一步就是理解数据和控制信息存储在程序栈上的方式会引起的后果。

这个时候hello.c已经编译成一个可以执行的程序，那么我们如何运行这个可以执行的程序呢？我们只需要在控制台上输入以下的命令

./hello

这个时候如果程序没有出错的话，这个时候屏幕就会输出hello world,那么这儿又经过了什么操作呢？提到这个问题，笔者不得不带大家了解下计算机的硬件了。先看一张图如下：

接下来笔者会带着读者来解释每一个设备，具体的如下：

• 总线：贯穿整个系统的是一组电子管道，称作总线，它携带信息字节并负责在各个部件间传递。通常总线被设计成传送定长的字节块 ，也就是字（word)。 字中的字节数（即字长） 是一个基本的系统参数，各个系统中都不尽相同。现在的大多数机器字长要么是 4 个字节（32位）， 要么是 8 个字节(64 位）。
• I/〇：I/O(输入/输出） 设备是系统与外部世界的联系通道。作为用户输入的键盘和鼠标，作为用户输出的显示器，以及用于长期存储数据和程序的磁盘驱动器(简单地说就是磁盘）。 每个 I/O 设备都通过一个控制 器或适 配器与 I/O 总线相连。控制器是 I/O 设备本身或者系统的主印制电路板（通常称作主板)上的芯片组。而适配器则是一块插在主板插槽上的卡。无论如何，它们的功能都是在 I/O 总线和 I/O 设备之间传递信息。
• 主存：主存是一个临时存储设备， 在处理器执行程序时，用来存放程序和程序处理的数据。从物理上来说， 主存是由一组动态随机存取存储器(DRAM)芯片组成的。 从逻辑上来说，存储器是一个线性的字节数组， 每个字节都有其唯一的地址（数组索引）， 这些地址是从零开始的。
• CPU：中央处理单元（CPU), 简称处理器， 是解释（或执行） 存储在主存中指令的引擎。处理器的核心是一个大小为一个字的存储设备（或寄存器 ）， 称为程序 计数器（PC)。 处理器看上去是按照一个非常简单的指令执行模型来操作的，这个模型是由指令集架构决定的。

介绍完了这些硬件，那么这个hello可执行程序是怎么执行的？

初始时， shell 程序执行它的指令，等待我们输人一个命令。 当我们在键盘上输人字符串“./hello”后， shell 程序将字符逐一读人寄存器， 再把它存放到内存中

当我们在键盘上 敲回车 键时， shell 程序就知道 我们已 经结束了命令的输人。然后shell 执行一系列指令来加载可执行的 hello 文件，这些指令将 hello 目标文件中的代码和数据从磁盘复制到主存。

一旦目标文件 hello 中的代码和数据被加载到主存，处理器就开始执行 hello 程序的 main 程序中的机器语言指令。这些指令将“hello, world’ 字符串中的字节从主存复制到寄存器文件， 再从寄存器文件中复制到显示设备，最终显示在屏幕上。

5.高速缓存与存储设备层次

从上面的例子中，我们可以得出一个结论：系统花费了大量的时间把信息从一个地方挪到另一个地方。于是系统设计者的一个主要目标就是使这些复制操作尽可能快速的完成。根据机械原理，较大的存储设备要比较小的存储设备运行得慢，而快速设备的造价远高于同类的低速设备。随着半导体技术的发展，这种处理 器与主存之间的差距还在持续增大。加快处理器的运行速度比加快主存的运行速度要容易和便宜得多。针对这种处理器与主存之间的差异，系统设计者采用了更小更快的存储设备，称为高速缓存存储器（cache memory, 简称为 cache 或高速缓存）， 作为暂时的集结区域， 存放处理器近期可能会需要的信息。

位于处理器芯片上的 L1 高速缓存的容量可以达到数万字节，访问速度几乎和访问寄存器文件一样快。 一个容量为数十万到数百万字节的更大的 L2 高速缓存通过一条特殊的总线连接到处理器。进程访问 L2 高速缓存的时间要比访问 L1 高速缓存的时间长 5 倍，但是这仍然比访问主存的时间快 5〜10 倍。 L1 和 L2 高速缓存是用一种叫做静态随机访问存储器（SRAM)的硬件技术实现的。比较新的、处理能力更强大的系统甚至有三级高速缓存： LI， L2 和L3，系统可以获得一个很大的存储器，同时访问速度也很快， 原因是利用了高速缓存的局
部性原理，即程序具有访问局部区域里的数据和代码的趋势。

有了L1,L2,L3高速缓存后，这个时候存储设备就生成了对应的层次，具体的如下：

存储器层次结构的主要思想是上一层的存储器作为低一层存储器的高速缓存。

6.操作系统如何管理硬件

依靠操作系统提供的服务。我们可以把操作系统看成是应用程序和硬件之间插人的一层软件。操作系统主要实现了两个功能：(1)防止硬
件被失控的应用程序滥用；（2)向应用程序提供简单一致的机制来控制复杂而又通常大不相同的低级硬件设备。操作系统通过几个基本的抽象概念（进程、虚拟 内存和文件） 来实现这两个功能。文件是I/O 设备的抽象表示，虚拟内存是对主存和磁盘 I/O 设备的抽象表示 ，进程则是对处理器、 主存和 I/O 设备的抽象表示。

6.1进程

进程是操作系统对一个正在运行的程序的一种抽象。在一个系统上可以同时运行多个进程，而每个进程都好像在独占地使用硬件。而并发运行，则是说一个进程的指令和另一个进程的指令是交错执行的。

操作系统保持跟踪进程运行所需的所有状态信息。这种状态，也就是上下文， 包括许多信息，比如 PC 和寄存器文件的当前值，以及主存的内容。在任何一个时刻，单处理器系统都只能执行一个进程的代码。 当操作系统决定要把控制权从当前进程转移到某个新进程时， 就会进行上下 文切换，即保存当前进程的上下文、恢复新进程的上下文，然后将控制权传递到新进程。新进程就会从它上次停止的地方开始。

举个例子：shell 进程和 hello 进程。 最开始，只有 shell 进程在运行，即等待命令行上的输人。当我们让它运行 hello 程序时， shell 通过调用一个专门的函数，即系统调用，来执行我们的请求，系统调用会将控制权传递给操作系统。 操作系统保存 shell 进程的上下文，创建一个新的 hello 进程及其上下文， 然后将控制权传给新的 hello 进程。 hello 进程终止后， 操作系统恢复 shell 进程的上下文，并将控制权传回给它， shell 进程会继续等待下一个命令行输入。

从一个进程到另一个进程的转换是由操作系统内核（kernel)管理的。内核是操作系统代码常驻主存的部分。当应用程序需要操作系统的某些操作时，比如读写文件，它就执行一条特殊的系统调用（system call)指令， 将控制权传递给内核。然后内核执行被请求的操作并返回应用程序。注意，内核不是一个独立的进程。相反，它是系统管理全部进程所用代码和数据结构的集合。

6.2线程

尽管通常我们认为一个进程只有单一的控制流，但是在现代系统中，一个进程实际上可以由多个称为线程的执行单元组成，每个线程都运行在进程的上下文中， 并共享同样的代码和全局数据。由于网络服务器中对并行处理的需求，线程成为越来越重要的编程模型，因为多线程之间比多进程之间更容易共享数据，也因为线程一般来说都比进程更高效。当有多处理器可用的时候，多线程也是一种使得程序可以运行得更快的方法。

6.3虚拟内存

虚拟内存是一个抽象概念，它为每个进程提供了一个假象， 即每个进程都在独占地使用主存。每个进程看到的内存都是一致的，称为虚拟地址空间。具体的如下图：

这时候笔者会一一介绍对应的功能，具体的如下：

• 程序代码和数据。对所有的进程来说，代码是从同一固定地址开始， 紧接着的是和C 全局变量相对应的数据位置。代码和数据区是直接按照可执行目标文件的内容初始化的，在示例中就是可执行文件 hello
• 堆。代码和数据区后紧随着的是运行时堆。代码和数据区在进程一开始运行时就被指定了大小，与此不同，当调用像 malloc 和 free 这样的 C 标准库函数时，堆可以在运行时动态地扩展和收缩。
• 共享库。大约在地址空间的中间部分是一块用来存放像 C 标准库和数学库这样的共享库的代码和数据的区域。
• 栈。位于用户虚拟地址空间顶部的是用户栈，编译器用它来实现函数调用。 和堆一样，用户栈在程序执行期间可以动态地扩展和收缩。特别地， 每次我们调用一个函数时， 栈就会增长； 从一个函数返回时，栈就会收缩。
• 内核虚拟内存。地址空间顶部的区域是为内核保留的。 不允许应用程序读写这个区域的内容或者直接调用内核代码定义的函数。相反，它们必须调用内核来执行这些操作。

6.4文件

文件就是字节序列，仅此而已。每个 I/O 设备，包括磁盘、键盘、显示器， 甚至网络，都可以看成是文件。

7.网络通信

系统漫游至此，我们一直是把系统视为一个孤立的硬件和软件的集合体。 实际上，现代系统经常通过网络和其他系统连接到一起。从一个单独的系统来看，网络可视为一个I/O 设备，当系统从主存复制一串字节到网络适配器时，数据流经过网络到达另一台机器，而不是比如说到达本地磁盘驱动器。 相似地，系统可以读取从其他机器发送来的数据，并把数据复制到自己的主存。

讨论到这儿，可以这儿的结论就是计算机系统是由硬件和系统软件组成的，它们共同工作来运行应用程序。

8.写在最后

计算机系统是由硬件和系统软件组成的，它们共同协作以运行应用程序。计算 机内部的信息 被表示为一组组的位，它 们依据 上下文 有不同的解释方式。 程序被 其他程 序翻译成不同的形式，开 始时是ASCII 文本，然后被编译器和链接器 翻译成二进制可执行文件。

处理器读取并解释存放在主存里的二进制指令。因为计算机花费了大量的时间在内存、 I/O 设备和CPU 寄存器之间复制数据 ，所以将系统中的存储设备划分成层次结构层的硬件高速缓存存储器、 DRAM 主存和磁盘存储器。 在层次模型中，位于更高层的存储设备比低层的存储设备要更快，单位比特造价也更高。 层次结构中较高层次的存储设备可以作为较低层次设备的高速缓存。 通过理解和运用这种存储层次结构的知识，程序员可以优化 C 程序的性能。

操作系统内核是应用程序和硬件之间的媒介。它提供三个基本的抽象： 1)文件是对 I/O 设备的抽攀；2)虚拟内存是对主存和磁盘的抽象； 3)进程是处理器、主存和 I/O 设备的抽象。

最后，网络提供了计算机系统之间通信的手段。从特殊系统的角度来看， 网络就是一种 I/O 设备。