并行计算起源与基本概念

1.并行计算硬件出现

2002年以前,芯片上的晶体管集成密度指数上升,性能保持1.5倍增长,但是渐渐的随着晶体管密度
上升,空气散热已经无法解决散热问题,芯片制造商提出与其制造单块计算性能更快的芯片
不如在单块芯片上面集成更多的计算核心,由此出现多个CPU的芯片---多核。


上图为典型的计算机系统硬件结构图,主要看CPU(Central Processing Unit)部分,由PC(程序计数器),寄存器文件,ALU(计算逻辑单元),总线结构组成(Bus interface)组成,多核即可看成是有多个CPU通过系统总线(System bus)与I/O桥相连。该图会在以后的博客中用来说明IMID,SMID,MIMD的区别。


2.串行程序转化为并行程序的方法
主要包括两种:任务并行数据并行


任务并行:不同的CPU可能执行不同的任务,处理相同的数据
数据并行:每个核心执行相同的命令,处理不一样的数据

举一个例子:有20份卷子,一份卷子有5道题,现在由5个老师来批改

方案一:每个老师批改其中一道题,每个老师都要改20份卷子

方案二:每个老师分4份卷子,老师负责改完自己拿到的卷子的全部题目


把老师看成CPU,卷子作为要处理的数据,则方案一为任务并行,方案二为数据并行。



3.并行计算系统与编程
并行系统分为:共享内存系统分布式内存系统
共享内存系统中每个CPU都能对内存进行修改,主要限制是内存不足
分布式内存系统中每个核有自己的内存,主要限制是网络通信慢


编程:消息传递接口(MPI 是C的扩展接口)POSIX线程(Pthreads 是C的扩展接口)OpenMP
其中MPI适合于分布式内存系统,POSIX线程与OpenMP适合共享内存系统。


4.并发,并行,分布式的区别
并发:同一时间有多个程序同时运行
并行:同一个程序由多个任务紧密协作完成
分布式:一个程序需要与其他程序协作完成

三个概念并不是相对的关系,是三个有交集的概念,分布式是并行的一种形式,而并行机器的事务是并发的。


5,MPI,openMPI与pthread的区别

MPI适用于分布式内存编程(基本单元->进程)

openMPI与pthread适用于共享内存编程(基本单元->线程)

openMPI编写更加方便,但是难以实现底层线程的通信。

pthread变成相对繁杂,但是实现底层线程通信更为方便。

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值