1.3了解编译程序如何工作是大有益处的
对于像hello.c这样简单的程序,我们可以依靠编译系统生成正确有效的机器代码。但是,有一些重要的原因促使程序员必须知道编译系统是如何工作的。
● 优化程序性能
● 理解链接时出现的错误
● 避免安全漏洞
1.4处理器读并解释储存在内存中的指令
此刻,hello.c源程序已经被编译系统翻译成了可执行目标文件hello,并被存放在磁盘上。要想在Unix系统上运行该可执行文件,我们将它的文件名输入到称为shell的应用程序中。
linux> ./hello
hello,world
linux>
shell是一个命令行解释器,它输出一个提示符,等待输入一个命令行,然后执行这个命令。如果该命令行的第一个单词不是一个内置的shell命令,那么shell就会假设这是一个可执行文件的名字,它将加载并运行这个文件。所以在此例中,shell将加载并运行hello程序,然后等待程序终止。hello程序在屏幕上输出它的消息,然后终止。shell随后输出一个提示符,等待下一个输入的命令行。
1.4.1系统的硬件组成
1总线
2I/O设备
3主存
4处理器
1.4.2运行hello程序
1.5高速缓冲至关重要
这个简单的示例揭示了一个重要的问题,即系统花费了大量的时间把信息从一个地方挪到另一个地方。hello程序的机器指令最初是放在磁盘上,当程序加载时,它们被复制到主存;当处理器运行程序时,指令又从主存复制到处理器。相似地,数据串“hello,world/n”开始时在磁盘上,然后被复制到主存,最后从主存上复制到显示设备。从程序员的角度来看,这些复制就是开销,减慢了程序“真正”的工作。因此,系统设计者的一个主要目标就是使这些复制操作尽可能快地完成。
根据机械原理,较大的存储设备要比较小的存储设备运行的慢,而快速设备的杂奥佳远高于同类的低速设备。比如说,一个典型系统上的磁盘驱动器可能比主存大1000倍,但是对处理器而言,从一个磁盘驱动器上读取一个字的时间开销要从主存中读取的开销大1000万倍。
类似地,一个典型的寄存器文件只储存几百字节的信息,而主存里可存放几十亿字节。然而,处理器从寄存器文件中读数据比从主存中读取几乎要快100倍。更麻烦的是,随着这些年半导体技术的进步,这种处理器与主存之间的差距还在持续增大。加快处理器的运行速度比加快主存的运行速度要更容易和便宜得多。
针对这种处理器与主存之间的差异,系统设计者采用了更小更快的储存设备,称为高速缓存存储器(cache memory,简称cache),作为暂时的集结区域,存放处理器近期可能会需要的信息。
本书得出的重要结论之一就是,意识到高速缓存存储器存在的应用程序员能够利用高速缓存程序的性能提高一个数量级。
1.6存储设备形成层次结构
1.7操作系统管理硬件
当我们回到hello程序的例子。当shell加载和运行hello程序时,以及hello程序输出自己的消息时,shell和hello程序都没有直接访问键盘、显示器、磁盘或者主存。取而代之的是,它们依靠操作系统提供的服务。我们可以吧操作系统看成应用程序和硬件之间插入的一层软件,如图。所有应用程序对硬件的操作尝试都必须通过操作系统。
操作系统有两个基本功能:(1)防止硬件被失控的引用程序滥用;(2)向应用程序提供简单一致的机制来控制复杂而又通常大不相同的低级硬件设备。操作系统通过几个基本的抽象概念(进程、虚拟内存和文件)来实现这两个功能。文件是对I/O设备的抽象表示,虚拟内存是对主存和磁盘I/O设备的抽象表示,进程则是对处理器、主存和I/o设备的抽象表示。
我们将依次讨论每种抽象表示。
1.7.1进程
像hello这样的程序在现代系统上运行时,操作系统会提供一种假象,就好像系统上只有这个程序在运行。新恒旭看上去是独占地使用处理器、主存和I/O设备。处理器看上去就像在不断地一条接一条地执行程序中的指令,即改程序的代码和数据是系统内存中唯一的对象。这些假象是通过进程的概念来实现的,进程是计算机科学汇总最重要和最成功的概念之一。
进程是操作系统对一个正在运行的程序的一种抽象。在一个系统上可以同时运行多个进程,而每个进程都好像在独占地使用硬件。而并发运行,则是说一个进程的指令和另一个进程的指令是交错执行的。在大多数系统中, 需要运行的进程数是多于可以运行它们的CPU个数的。传统系统在一个时刻只能执行一个程序,而先进的多核处理器同时能够执行多个程序。无论是在单核还是多核系统中,一个CPU看上去都像是在并发地执行多个进程,正式通过处理器在进程间切换来实现的。操作系统实现这种交错执行的机制称为上下文切换。为了简化讨论,我们只考虑包含一个CPU的单处理器系统的情况。
操作系统保持跟踪进程运行所需的所有状态信息。这种状态,就是上下文,包括许多信息,比如PC和寄存器文件的当前值,以及主存的内容。在任何一个时刻,单处理器系统都只能执行一个进程的代码。当操作系统决定要把控制权从当前进程转移到某个新进程时,就会进行上下文切换,即保存当前进程的上下文、回复新进程的上下文,然后将控制权传递到新进程。新进程就会从它上次停止的地方开始。示例场景中有两个并发的进程,shell进程和hello进程。最开始只有shell进程在运行,即等待命令行的输入。当我们让它运行hello程序时,shell通过调用一个专门的函数,即系统调用,来执行我们的请求,系统调用会将控制权传递给操作系统。操作系统保存shell进程的上下文,创建一个新的hello进程以及上下文,然后将控制权传给新的hello进程,hello进程终止后,操作系统回复shell进程的上下文,并将控制权传回给它,shell进程会继续等待下一个命令行输入。
如图所示,从一个进程到另一个进程的转换时由操作系统**内核(kernel)管理的。内核是操作系统代码常驻主存的部分。当应用程序需要操作系统的某些操作时,比如读写文件,它就执行一条特殊的系统调用(system call)**指令,将控制权传递给内核。然后内核执行被请求的操作并返回应用程序。注意,内核不是一个独立的进程。相反,它是系统管理全部进程所用代码的数据结构的集合。
实现进程这个抽象概念需要低级硬件和操作系统软件之间的紧密合作。
1.7.2 线程
尽管通常我们认为一个进程只有单一的控制流,但是在现代系统中,一个进程实际上可以有多个被称为线程的执行单元组成,每个线程都运行在进程的上下文中,并共享同样的代码和全局数据。由于网络服务器中对并行处理的需求,线程称为越来越重要的编程模型,因为多线程之间比进程之间更容易共享数据,也应为线程一般来说都比进程更搞笑。当有多处理器可用的时候,多线程也是一种使得程序可以运行得更快的方法。
1.7.3虚拟内存
虚拟内存是一个抽象概念,它为每个进程提供了一个假象,即每个进程都在独占地使用主存。每个进程看到的内存都是一致的,称为虚拟地址空间。这是linux进程的虚拟地址空间。在linux中,地址空间最上面的区域是保留给操作系统中的代码和数据的,这对所有进程来说都是一样的。地址空间底部区域存放用户进程定义的代码和数据。请注意,图中的地址是从下往上增大的。
每个进程看到的虚拟地址空间有大量准确定义的区构成,每个区有专门的功能。
从最底下开始,向上依次为:
● 程序代码和数据
● 堆
● 共享库
● 栈
● 内核虚拟内存
1.7.4文件
文件就是字节序列,仅此而已。每个I/O设备,包括磁盘,显示器,键盘,甚至网线,都可以看成文件。系统中的所有输入输出都是通过使用一小组称为UnixI/O的系统函数调用读写文件来实现的。
文件这个简单而精致的概念是非常强大的,因为他向应用程序提供了一个统一的视图,来看待系统中可能含有的所有各式各样的的I/O设备。例如,处理磁盘文件内容的应用程序员可以非常幸福,因为他们无需了解具体的磁盘技术。进一步说,同一程序可以在使用不同磁盘技术的不同系统上运行。
1.8系统之间利用网络通信
1.9重要主题
以上系统漫游得出一个很重要的观点,那就是系统不仅仅是硬件。系统是硬件和软件相互交织的几何体,它们必须共同协作以达到运行程序的最终目的。
1.9.1 Amdahl定律
Gene Amdahl,计算领域的早期先锋之一,对提升系统某一部分性能所带来的效果做出了简单却见地的观察。这个观察被称为Amadahl定律(Amadahl’s law)。该定律的主要思想是,当我们对系统的某个部分加速时,其对系统整体性能的影响取决于该部分的重要性和加速程度。若系统执行某应用程序需要时间为Told。假设系统某部分所需执行时间与改时间的比例为α,而该部分性能提升比例为k。即该部分出事所需时间为αTold,现在所需时间为(αTold)/k。因此,总的执行时间应为
Tnew =(1-α)Told+(αTold)/k=Told[(1-α)+α/k]
由此,可以计算加速比S =Told/Tnew为
s=1/((1-α)+α\k)
举个例子,考虑一种情况,系统的某个部分出事耗时比例为60%(α=0.6),其加速比例因子为3(k=3)。则我们可以获得的加速比为1/[0.4+0.6/3]=1.67倍。虽然我们对系统的一个主要部分做出了重大改进,但是获得的系统加速比却明显小于这部分的加速比。这就是Amdahl定律的主要观点——要想显著加速整个系统,必须提升全系统中相当大的部分的速度。
Amdahl定律一个有趣的特殊情况是考虑k趋向于∞时的效果。这就意味着,我们可以取系统的某一部分将其加速到一个点,在这个点上,这部分花费的时间可以忽略不计。于是我们得到
S∞=1/(1-α)
举个例子,如果60%的系统能够加速到不花时间的程度,我们获得的净加速比将仍只有1/0.4=2.5×。
Amdahl定律描述了改善任何过程的一般原则。除了可以用在加速计算机系统方面之外,它还可以用在公司视图降低刀片制造成本,或学生想要提高自己的几点平均值等方面。也许它在计算机世界里是最有意义的,在这里我们常常把性能提升两倍或更刚的因子。这么高的比例因子只有通过优化系统的大部分组件才能获得。
1.9.2并发与并行
数字计算机的整个历史中,有两个需求是驱动进步的持续动力:一个是我们想要计算机做的更多,另一个是我们想要计算机运行的更快。当处理器能够同时做更多的事情时,这两个因素都会改进。我们用的术语并发(concurrency)是一个通用的概念,指一个同时具有多个互动的系统;而术语并行(parallelism)指的是用并发来使一个系统运行得更快。并行可以在计算机系统的多个抽象层次上运用。再次,我们按照系统层次结构中由高到低的顺序重点强调三个层次。
线程级并发
指令级并行
单指令、多数据并行
1.9.3计算机系统中抽象的重要性
1.10 小结
计算机系统是由硬件和系统软件组成的,它们共同协作以运行应用程序。计算机内部的信息被表示为一组组的位,它们依据上下文有不同的解释方式。程序被其他程序翻译成不同的形式,开始时是ASCII文本,然后被编译器和链接器翻译成二进制可执行文件。
处理器读取并解释存放在主存里的二进制指令。因为计算机花费了大量的时间在内存、I/O设备和CPU寄存器之间复制数据、DRAM主存和磁盘存储器。在层次模型中,位于更高层的存储设备比低层存储设备要更快,单位比特造价也更高。层次结构汇总较高层次的存储设备可以作为较低层次设备的高速缓存。通过理解和运用这种存储层次结构的知识,程序员可以优化C程序的性能。
操作系统内核是应用程序和硬件之间的媒介。它提供三个基本的抽象:1)文件是对I/O设备的抽象,2)虚拟内存是对主存和磁盘的抽象;3)进程是处理器、主存和I/O设备的抽象
最后,网络提供了计算机系统之间的通信手段,从特殊系统的角度来看,网络就是一种I/O设备。