【并行与分布式计算】第一章--基本概念

最新推荐文章于 2023-05-16 17:50:01 发布

耿耿于怀1762616314

最新推荐文章于 2023-05-16 17:50:01 发布

阅读量908

点赞数 1

分类专栏：并行与分布式计算文章标签：系统架构分布式大数据

本文链接：https://blog.csdn.net/weixin_53897134/article/details/129088971

版权

并行与分布式计算专栏收录该内容

7 篇文章 7 订阅

订阅专栏

紧密耦合的分布计算系统和松散的分布计算系统

经常性原理、局部性原理、Moore定律、Dennard定律、Amadahl定律

冯诺依曼结构

冯诺依曼结构图：

冯诺依曼结构特点：

（1）结构上以运算器为中心；（2）指令由操作码和地址码组成；（3）程序的指令预先存放在存储器中，计算机按照程序的顺序取指执行，PC和分支控制指令控制指令的执行顺序；（4）哈佛结构：指令和数据分别存储，且被同等对待；（均用二进制表示及计算）（5）存储器每个存储单元大小固定，按顺序线性编址，按地址访问。

Flynn分类法

单指令流单数据流----SISD

单指令流多数据流----SIMD

多指令流单数据流----MISD

多指令流多数据流----MIMD

SISD：指令级并行，每条指令操控单条数据，每个PU独占CU，独占存储。

SIMD：数据级并行，每条指令操控多条数据，每个PU有私有存储，但是共享CU。

MIMD：任务级并行，每条指令操作单条数据，紧密耦合时为线程级并行--共享存储，松散耦合时为进程级并行--消息传递。

MISD：多条指令操控单条数据。

并行性

并行性：计算机系统在同一时刻或者同一时间间隔内进行多种运算或操作。

同时性并发性

并行性等级

从处理数据的角度：字串位串----> 字串位并----> 字并位串----> 字并位并

从执行程序的角度：指令内部并行---->指令级并行---->线程级并行---->任务/进程级并行---->作业/程序级并行

提高并行性的三个基本思想

时间重叠：引入时间因素，让多个处理过程在时间上相互错开，轮流使用同一套硬件设备的各个部分。实现时间重叠的基础是部件功能专门化--把一个处理过程分割成若干部分（比如按时间分先后几步），把一套硬件也分成若干部分，把每一部分处理工作指定给每一部件，这样就可以在同一段时间里不同部件执行着不同的处理过程，实现了时间重叠原理下的并行。

资源重复：引入空间因素，通过重复设置硬件资源提高并行。

资源共享：是一种软件方法，使多个任务按一定的时间顺序轮流使用同一套硬件设备。

并行计算的范式

（1）相并行（2）分治并行（3）流水线并行（4）主从并行（5）工作池并行

分布式计算的概念

促进分布式计算系统发展的两大技术：（1）计算机硬件技术和软件技术的发展（2）计算机网络技术的发展

什么是分布式计算系统：分布计算系统是由多个相互连接的处理资源组成的计算系统，它们在整个系统的控制下可合作执行一个共同的任务，最少依赖于集中的程序、数据和硬件。这些处理资源可以是物理上相邻的，也可以是在地理上分散的。

紧密耦合的分布计算系统和松散的分布计算系统

	紧密耦合	松散耦合
连接方式	内部总线或者互联网络	通信网络
处理资源间的距离	物理上分散，相距很近	地理上分散，相距很远
处理资源	多处理机	多计算机系统
通信方式	共享存储	消息传递

分布式计算系统的异构性

计算机系统的异构性：硬件异构性、操作系统异构、程序设计语言异构

通信网络的异构性：硬件异构性、软件异构性（通信协议）

为什么分布式计算系统的异构性是不可避免的：（1）分布式计算系统已经成为资源共享的重要形式。由于分布式系统的资源的增多，其他系统也希望加入系统，共享其资源。而这些新加入的系统往往和之前的系统中的硬件和软件不同；（2）由于硬件性能的提高和价格的下降，当对分布式系统进行扩充时，人们往往会选择新型的计算机系统而不是原有的设备类型；（3）把不同的硬件和软件资源系统的结合在一起，整个系统可以得到较高的性价比。