计算机专业中并行运算如何,并行计算基础知识-中国科大超算中心.ppt

并行计算基础知识-中国科大超算中心

并行计算基础知识 并行计算基础知识 冯圣中 fsz@ncic.ac.cn 中国科学院计算技术研究所 国家智能计算机研究开发中心 国家高性能计算中心(北京) 主要内容 并行计算 并行计算系统基础 并行计算基本概念 几种典型的benchmark 并行计算基本概念 Parallel computing、high performance computing、 high-end computing The simultaneous use of more than one computer to solve a problem. 多计算机-网络 多进程/线程-通信 并行计算环境 加速比/可扩展性 并行计算系统基础 并行计算机分类 主流并行计算机系统比较 机群并行计算环境 并行计算机分类 根据指令流和数据流的不同,通常把计算机系统分为: 单指令流单数据流(SISD) 单指令流多数据流(SIMD) 多指令流单数据流(MISD) 多指令流多数据流(MIMD) 并行计算机系统绝大部分为MIMD系统,包括 并行向量机(PVP,Parallel Vector Processor); 对称多处理机(SMP,Symmetric Multiprocessor); 大规模并行处理机(MPP,Massively Parallel Processor); 机群(Cluster); 分布式共享存储多处理机(DSM,Distributied Shared Memory) Top500中的超级计算机 地球模拟器 ASCI Q ASCI White Earth Simulator Earth Simulator Earth Simulator ASCI Q ASCI white SMP 对称多处理机 SMP系统一般使用商品化微处理器,具有片上或外置高速缓存 经由高速总线(或交叉开关)连向共享存储器。每个处理器可等同地访问共享存储器、I/O设备和操作系统服务。 单一操作系统映像,全系统只有一个操作系统驻留在共享存储器中,它根据各个处理器的负载情况,动态地分配各个进程到各个处理器,并保持负载平衡; 低通信延迟,各个进程通过读/写操作系统提供的共享数据缓存区来完成处理器间的通信,其延迟通常小于网络通信延迟; 共享总线带宽,所有处理器共享总线带宽,完成对内存模块和I/O模块的访问。 SMP 对称多处理机(续) 问题:欠可靠,总线、存储器、操作系统失效可能导致系统崩溃; 可扩展性较差,由于所有处理器都共享总线带宽,而总线带宽每3年才增加2倍,赶不上处理器速度和存储容量的增长步伐,因此SMP的处理器个数一般少于64个,且只能提供每秒数百亿次的浮点运算。 SMP的典型代表有:SGI POWER Challenge XL系列、DEC Alphaserver 84005/440、HP9000/T600和IBM RS6000/R40。 SMP 对称多处理机(续) DSM 分布式共享存储多处理机 DSM的典型代表为SGI的Origin2000和Origin3000系列并行机 处理器对物理分布的共享存储器的访问是不对称的,因此远端访问延迟一般是本地访问延迟的3倍以上 单一内存地址空间,所有这些内存模块都由硬件进行了统一编址,并通过互连网络形成了并行机的共享存储器 DSM (续) 基于Cache的数据一致性 DSM较好地改善了SMP的可扩展性能。一般地,DSM可以扩展到上百个节点,能提供每秒数千亿次的浮点运算功能 单一的系统映像,在DSM中,用户只看到一个操作系统,它可以根据各节点的负载情况,动态地分配进程 DSM (续) 机群(Cluster) 我国的曙光1000A、曙光2000、曙光3000以及前不久推出的曙光4000L等都是机群架构的并行计算机 Cluster的每个系统都是一个完整的工作站,一个节点可以是一台PC或SMP 各个节点一般由商品化的网络互连,节点上的网络接口是松散耦合到I/O总线上的 每个节点一般有本地磁盘,一个完整的操作系统驻留在每个节点上 机群(Cluster) 可扩展高性能机群服务器技术 单一系统映像 单一系统映像(Single System Image,SSI)并不是指系统中仅有唯一的操作系统映像驻留在内存,而只是感觉上,像一个单一系统。 其基本特征是单一系统、单一控制、对称性、位置透明。采用SSI的主要目的,是使机群的使用、控制和维护似乎和一台工作站一样。 单一系统映像包括单一入口点、单一文件层次结构、单一I/O空间、单一网络、单一作业管理系统、单一存储空间和单一进程空间。 三种体系结构比较(一) 三种体系结构比较(二) Beowulf与机群 Beowulf:自己攒的“高性能计算机” 买PC、网络设备、装linux、MPI、ATLAS 降低了高

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值