来源:腾讯科技
6月18日,在德国法兰克福举行的国际超级计算大会(ISC)上公布了最新一期的超级计算机前500强榜单。
本次入门的超级计算机门槛非常高,首次全部超过1PFlops(每秒一千万亿次浮点运算),这是全球超级计算机500强榜单发布26年以来的一次历史性突破。
在这份500强的榜单中,中国的超级计算机数量达 219 台,数量位居世界第一,其中173台来自联想,71台来自浪潮,63台来自曙光。
对于普通人来说,平常鲜有机会接触到超级计算机,因此对于超级计算机的理解也处于一知半解的状态中。为此,腾讯科技摘取多位知乎专业答主的内容,并稍加整理,通过一篇文章让你彻底搞懂超级计算机。
超级计算机的核心技术是什么?
——知乎答主张竞扬
CPU是超级计算机的重要组成部分,但不是超级计算机技术的全部。网络上一些人将CPU技术等同于超级计算机技术,认为如果没有自主的CPU,就没有掌握核心技术。
这种说法并不准确。实际上,相对于声名显赫的CPU,默默无闻的体系结构设计才是一直被大众和媒体忽略的关键技术。举例来说,曙光星云采用了自主研发的超并行处理体系结构、神威蓝光超级计算机采用了大规模并行处理体系结构、天河1号采用了多阵列可配置协同并行体系结构、天河二号采用了自主创的新型异构多态体系结构。
体系结构设计能力有多重要呢?打个比方,如果说超级计算机是一只军队,那么体系结构设计就是军队的历史传承、光荣传统、组织管理水平、军事训练水平、武器装备、后勤能力、高级将领的战略指挥水平和中下层军官的战术指挥能力,而CPU则是军队的士兵。
此外,超级计算机不是简单的CPU堆砌。因为堆CPU也是一个技术活,体系结构设计的不好,高速互联网络做的不行,系统软件做的不好,储存列阵做的不行,即使堆再多的CPU,超级计算机的性能也上不去。简单粗暴的堆砌CPU根本不可能制造出一台超级计算机,更不要说是能与天河2号相匹敌的超级计算机。
另外,哪怕掌握了正确的堆砌CPU的方法,也不是单凭靠堆CPU数量就能获得一台能与天河2号相匹敌的超级计算机。原因何在? 因为超级计算机建设不是简单的搭积木式的堆砌CPU——即便堆砌了海量的计算卡,但受制于其他方面,比如高速互联网的技术水平而导致无法到达理论计算性能。
具体来说,高速互联网络的难点在于超级计算机的计算节点之间传输的数据量巨大,延迟要求严格,当互联网络效率不足,就会导致数据拥堵,大幅降低超级计算机整机系统效率。而超级计算机的计算节点越多,对互联网络的要求也就越高。
因此,即使想通过堆砌CPU来提升运算能力,也会受限制互联网络的性能,造成这种做法并不能无节制的提升超级计算机的性能——受限于诸如互联网络以及其他方面的瓶颈,整机效率被拉低,导致实际性能并没有因为堆砌了更多的CPU而有所提高。
另外,堆砌过多的CPU还存在功耗过大、机箱体积过大等问题,非常不利于日后的运营维护和使用,在超级计算机市场基本不具备市场竞争力。
在软件系统方面,控制少量计算节点和控制大量计算节点对软件系统的要求近乎于天差地别。软件系统必须保证每个超级计算机计算节点的性能被发挥到最大才能充分挖掘出硬件上的潜力。否则,就会影响超级计算机的整机效率。
因此,如果没有一个好的体系结构,那么CPU的性能将无法全部发挥出来,而且堆砌的CPU数量越多,整个系统就越复杂,对高速互联网络、存储列阵、监控系统、冷却系统和软件方面的要求也就越高,整机效率的提升也就越难。而体系结构设计能力水平不够高的情况下,单纯堆砌CPU数量,反而会降低整机效率,无法提升整机性能。
超级计算机与普通计算机有哪些区别?
——知乎答主小侯飞氘
超级计算机没有那么神秘,就是个计算工具。你输入计算条件,它给你输出计算结果。和买菜用的计算器是一样一样的,只是规模上有区别而已。
家用电脑一般只有一颗CPU(GPU同理),每颗CPU内一般只有2~8个物理核心。而一般的超级计算机有成千上万颗CPU,每颗CPU内一般有几十个物理核心。
这么多CPU当然不是拿来供暖的,而是为了通过并行计算,完成繁重的计算任务的。举个例子,在飞行器制造领域,经常要计算飞机附近空气的流动,以及飞行器本身的受力情况。最常用的计算方法是把空气、机体分割成一个个小块块,分别计算每个小块的运动和受力,再整合起来得到整体的运动和受力情况。
一般来说,分割的越精细,每个小块越小,计算越准确。而鱼与熊掌不可兼得,分割的越精细,计算量也越大。
假如要把一个1 的立方体分成1 的小方块,那么就要对10亿个小方块进行计算。如果用单个CPU核心,需要连续做10亿次运算,算完整个过程可能要花上一天。而如果有10个CPU核心,那就可以把这10亿个方块分成10份,每个CPU核心只要计算1亿个方块,然后把得到的结果整合起来就行。这样大约能快上10倍,两个小时就能算完了。
在科研和工程领域,有许许多多这样的计算任务,例如原子基本性质的量子力学计算、药物反应过程的分子动力学模拟、黑洞碰撞的相对论模拟、大气运动和天气变化的预测、桥梁设计中的受力计算……这些复杂的问题,如果用单个CPU核心计算,可能要花上几个月甚至是几年才能得到结果。这么长的计算时间是难以接受的,所以我们需要用多个CPU核心进行并行计算以提高效率,集成大量CPU于一身的超级计算机自然就应需而生了。
超级计算机都被用来做什么?
——知乎答主史中
举几个例子:
1、“核模拟”就需要高性能计算
核反应是一个链式反应,原子裂变之后会影响到周围的原子,周围的原子又会影响它们周围的原子,对于这些原子行为模拟所需要的计算数量级,就迅速变成了指数型的关系。
这就需要非常强大的超级计算机才能进行模拟。而且,要知道这种模拟对于计算力的要求是没有上限的。计算能力越强,模拟就能进行得更精准,从而能够发现更深层的规律。
气候预测也是高性能计算的一个巨大的应用方向。
2、气候预测同样需要高性能计算
气候预测,广泛来看就是对全球气流、洋流等等的预测,局限来看就是天气预报。天气预报的基本原理,就是通过气象卫星捕捉地图上每一个点的云层和气流运动轨迹,然后通过大量的计算推导出他们未来的走向。
要知道,即使是今天,对于天气的预报,精度都难以达到80%以上。但是,你一定能感觉到,现在的天气预测已经比你小时候准确得多。这就是因为我们现在的高性能计算能力大幅提高了。
举个例子,之前气象计算的粒度是1个经纬度,大概是111公里,而现在我们气象计算的精度已经细到了3公里,气象科学家们已经把精度提高到1公里。这样的精度提升,对于计算力的要求可是指数级的。
3、视频渲染也是高性能计算的需求“大户”
你还记得《阿凡达》吗?这部2009年上映的电影里,特效场景比例达到了70%。自从阿凡达之后,特效已经成为了电影的标配,甚至两个演员在绿布前就可以完成一部高质量的太空科幻电影。支撑这些特效的,无疑就是巨大的高性能计算力。
4、除此之外,高性能计算还可以进行天体物理计算、地震预测、材料科学计算、基因组测序、交通分析、人类组织系统研究等等等等。
文章内容分享完了。更多关于超算和高性能计算的知识,请通过阅读原文链接获取“高性能计算(HPC)技术、方案和行业全面解析”电子书目录如下:
第1章 HPC行业和市场概述 1
1.1 HPC主要场景和分类 3
1.2 HPC系统主要组成 11
1.3 HPC IO业务模型 12
1.4 HPC系统架构演变 13
1.5 HPC市场的主流玩家 14
1.5.1 HPC存储厂商分类 15
1.5.2 Burst Buffer介绍 15
1.5.3 Panasas和Seagate介绍 17
1.5.4 主流并行文件系统 17
1.6 HPC对存储的主要诉求 19
1.7 HPC系统的衡量标准 20
1.8 HPC未来的技术趋势 22
第2章 HPC场景的存储形态 23
2.1 HPC为何是NAS存储 23
2.2 本地存储引入的问题 23
2.3 HPC主要的存储形态 25
第3章 Lustre文件系统解析 26
3.1 Lustre文件系统概述 26
3.2 Intel Lustre企业版开源策略 26
3.3 Lustre文件系统架构 27
3.4 Lustre Stripe切片技术 30
3.5 Lustre 的IO性能特征 34
3.5.1 写性能优于读性能 34
3.5.2 大文件性能表现好 35
3.5.3 小文件性能表现差 35
3.6 Lustre小文件优化 36
3.7 Lustre性能优化最佳实践 38
第4章 GPFS文件系统解析 39
4.1 GPFS文件系统概述 39
4.1.1 GPFS文件系统架构 40
4.1.2 GPFS文件系统逻辑架构 41
4.2 GPFS文件系统对象 42
4.2.1 网络共享磁盘NSD 42
4.2.2 集群节点及客户端节点 43
4.2.3 仲裁Node和Tiebreaker磁盘 43
4.3 GPFS集群仲裁机制 43
4.3.1 仲裁节点机制 44
4.3.2 仲裁磁盘机制 44
4.4 Failure Group失效组 44
4.5 GPFS文件系统伸缩性 45
4.6 GPFS文件系统负载均衡 45
第5章 Spectrum Scale架构详解 46
5.1 Spectrum Scale云集成 48
5.2 Spectrum Scale存储服务 49
5.3 Spectrum Scale交付模型 50
5.4 Spectrum Scale架构分类 51
5.5 企业存储特性 52
5.5.1 数据分级至云 52
5.5.2 Spectrum Scale RAID技术 53
5.5.3 Active文件管理 53
5.5.4 快照技术 53
5.5.5 Cache加速 54
5.5.6 分级存储管理 55
5.5.7 文件和对象访问 56
5.5.8 加密和销毁 57
5.6 虚拟化部署 57
5.7 LTFS带库技术 58
5.8 Elastic Storage Server 61
第6章 BeeGFS文件系统解析 62
6.1 ThinkParQ介绍 62
6.2 BeeGFS操作系统兼容性 63
6.3 BeeGFS系统架构 63
6.3.1 管理服务器介绍 64
6.3.2 元数据服务器介绍 65
6.3.3 对象存储服务介绍 66
6.3.4 文件系统客户端 67
6.4 BeeGFS安装和设置 68
6.5 BeeGFS调优和配置 69
6.6 BeeOND Burst Buffer 69
6.7 BeeGFS配额特性 72
6.8 BeeGFS的Buddy镜像 73
6.9 BeeGFS支持API概述 75
6.10 BeeGFS系统配置要求 75
6.10.1 存储服务器配置 76
6.10.2 元数据服务器配置 77
6.10.3 客户端服务器配置 77
6.10.4 管理守护进程配置 78
6.11 BeeGFS支持的网络类型 78
6.12 通过NAS导出BeeGFS 78
6.13 BeeGFS生态和合作 79
第7章 主流HPC产品和解决方案 82
7.1 DDN存储解决方案和产品 82
7.1.1 DDN S2A平台和产品 83
7.1.2 DDN SFA平台和产品 85
7.1.3 DDN WOS平台和产品 86
7.1.4 DDN Scaler系列网关产品 87
7.1.5 Burst Buffer加速产品 91
7.1.6 FlashScale全闪存产品 93
7.2 希捷存储解决方案和产品 96
7.2.1 ClusterStor产品架构 99
7.2.2 ClusterStor 管理介绍 100
7.2.3 ClusterStor配置扩展方式 101
7.2.4 ClusterStor存储软件集成 104
第8章 Burst Buffer技术和产品分析 107
8.1 Cray DataWarp技术和产品 107
8.1.1 Burst Buffer场景匹配 109
8.1.2 Burst Buffer技术架构 110
8.1.3 Cray技术演进蓝图 113
8.1.4 Cray HPC方案和产品 114
8.2 DDN Burst Buffer产品 117
8.2.1 IME产品架构 117
8.2.2 IME14KX产品介绍 120
8.2.3 IME240产品介绍 121
8.3 EMC Burst Buffer产品 122
8.3.1 aBBa产品架构 123
8.3.2 aBBa软件堆栈 124
第9章 HPC主流网络和技术分析 126
9.1 InfiniBand技术和基础知识 126
9.1.1 IB技术的发展 126
9.1.2 IB技术的优势 127
9.1.3 IB网络重要概念 129
9.1.4 IB协议堆栈分析 130
9.1.5 IB应用场景分析 134
9.2 InfiniBand技术和架构 135
9.2.1 IB 网络和拓扑组成 135
9.2.2 软件协议栈OFED 139
9.2.3 InfiniBand网络管理 140
9.2.4 并行计算集群能力 141
9.2.5 基于socket网络应用 142
9.2.6 IB对存储协议支持 142
9.2.7 RDMA技术介绍 143
9.3 Mellanox产品分析 143
9.3.1 Infiniband交换机 145
9.3.2 InfiniBand适配器 148
9.3.3 Infiniband路由和网关设备 149
9.3.4 Infiniband线缆和收发器 150
9.4 InfiniBand和OPA之争 151
9.4.1 True Scale Fabric软件架构 152
9.4.2 Intel InfiniBand产品家族 154
9.4.3 Omni-Path产品介绍 155
9.4.4 OPA和InfiniBand对比 156
第10章 HPC超算系统排名和评估 160
10.1 TOP500基准和排名 162
10.2 Green500基准和排名 165
10.3 HPC系统其他评估基准 167
10.3.1 GTC-P应用基准 173
10.3.2 Meraculous测试基准 173
10.3.3 MILC测试基准 174
10.3.4 MiniDFT测试基准 174
10.3.5 MiniPIC测试基准 174
10.3.6 PENNANT测试基准 175
10.3.7 SNAP测试基准 175
10.3.8 UMT测试基准 175
10.3.9 Crossroads基准 175
10.3.10 IOR BenchMark基准 176
10.3.11 Mdtest测试基准 176
10.3.12 STREAM测试基准 176
推荐阅读:
温馨提示:
请识别二维码关注公众号,点击原文链接获取“高性能计算(HPC)技术、方案和行业全面解析”资料总结。