一文看懂什么是高性能计算解决方案!

随着技术的发展和数据量的爆炸性增长,企业面临的挑战日益复杂,对计算能力的需求也在不断增加。这些问题的解决超出了传统计算方法的能力范围,高性能计算(HPC)正是为解决这类问题而生。



当你看到好莱坞大片中的炫酷特效(比如之前炫酷的《阿凡达》,《阿凡达》中的虚拟世界),这些特效需要通过电脑生成。生成一个特效画面需要处理复杂的光线、阴影、纹理等数据,普通电脑可能需要几小时甚至几天。而用高性能计算(HPC),可以把这些计算分成很多小任务,分给多个计算机同时处理,大大缩短制作时间。



简单来说,高性能计算(HPC)就是把很多计算机“绑”在一起工作,同时处理大量数据或复杂问题,就好比一群人一起搬砖,比一个人干活快得多!举个更加通俗的例子,HPC 就像是一群精英运动员,每个都在协同合作,以最快的速度完成赛事。



高性能计算(HPC)目前广泛应用在了众多行业,用来满足各行业客户处理海量数据、复杂计算和实时分析的需求。本文将从生命科学、汽车制造行业、金融行业,以百度智能云 CHPC为例,为大家简单介绍高性能计算解决方案。



1.生命科学

生命科学行业的企业 A 采购部署了本地 HPC 资源。虽能满足日常科研工作,但在对外交付的项目中经常出现大量的短期算力需求,本地 HPC 的资源规模难以确保项目如期交付。



企业 A 借助百度智能云的 CHPC 构建了覆盖本地集群的混合云 HPC 方案,确保资源需求的高峰期自动扩展云上资源,并借助经过 Btune 性能调优过的开源应用程序,加速高通量基因测序和深度分析等任务,加快科研成果产出。



同时,在任务运行完成后,企业 A 将存储在对象存储 BOS 中的业务结果数据一键同步至百度网盘分发给下游客户,不仅为企业 A 节省了对象存储的流量费用,还提升了下游客户的业务体验。



2.汽车制造业

汽车行业的新势力企业 C 基于本地 IDC 建立了包括百度智能云、第三方云的混合云 HPC 方案,为任务匹配最佳的计算资源,让车企 C 的旗舰车型能够更快地完成从概念验证到产品上市过程。



为了管理庞大的 HPC 集群,企业 C 的管理员基于混合云提供的全局资源管理和任务动态调度的能力,结合云上云下资源的实时监控和报表统计功能,实现了资源效能的最大化。



同时,系统管理员需要使用复杂的命令对 HPC 集群进行操作。为了进一步提升管理效率,百度智能云将集群管理的命令操作统一到 CHPC 控制台,支持可视化操作,提升管理员的资源管理效率。

百度智能云高性能计算平台(CHPC)为传统企业级 HPC 注入了全新活力。平台提供混合多云集群公有云弹性资源行业专属工具集成以及性能深度优化等多种能力,全面满足企业高效计算需求。目前,CHPC 已成功应用于工业制造、生命科学、教育等多个行业,帮助企业降低成本快速响应市场变化,显著提升业务竞争力

1 某某汽车高性能计算管理平台系统需求 5 1.1 业务需求分析: 5 2 某某汽车 HPC/CAE云计算中心建设目标、策略及步骤 7 3.1 建设目标与策略 7 3.2 建设步骤 8 3 面向高性能计算中心的资源管理、作业调度系统方案 10 3.1 基于应用的场景分析 10 3.1.1 终端用户通过Compute Manager,提交Fluent批处理计算作业 10 3.1.2 终端用户通过Display Manager,提交需要图形节点支持的图形交互程序 13 3.1.3 终端用户通过Compute Manager,在线查看CAE计算结果中的动画 14 3.1.4 终端用户通过Portal启动其他第三方的虚拟桌面,如Ctrix 15 3.2 某某汽车技术中心 HPC云计算平台管理场景 17 3.2.1 HPC云计算平台管理维护 17 3.2.2 HPC云计算平台软、硬件利用情况监控、统计分析 18 4 澳汰尔PBS Works产品介绍 20 4.1 系统逻辑图 20 4.2 系统物理架构图 22 4.4 PBS Professional产品介绍 25 4.4.1 整合计算资源、方便用户使用 25 4.4.2 可靠性、可用性、可维护性(RAS) 26 4.4.3 贯彻企业服务公约管理模式 29 4.4.4 优化计算资源的使用 29 4.4.5 计算资源管理功能 30 4.4.6 作业调度功能 32 4.4.7 Hooks功能 34 4.4.8 网格计算 35 4.4.9 安全认证 35 4.5 PAS(PBS 应用服务) 37 4.6 Compute Manager 40 4.6.1 三员管理 41 4.7 Display Manager 42 4.7.1 Display Manager系统架构 44 4.7.2 Display Manager使用体验 45 4.8 PBS Works定制功能 48 4.8.1 菜单布局:通常将布局分为三个模块:计算管理器、集群状态、管理员工具。如果有其他的模块,我们可以方便地集成在这个框架内(awpf)。菜单模块支持用户访问控制。 48 4.8.2 集群状态监控:统计所有计算节点的运行状态、节点类型、应用程序、物理内存、实际使用内存、内存使用率、节点利用率等信息。磁盘信息实际CPU利用率,通过数字的颜色来反应使用程度:0%<X<30%(绿色),30%<X<50%(蓝色),50%<X<80%(橙色),80%<X>在线设置或修改节点上绑定的applications 50 4.8.5 管理员工具>>用户统计:用户名称,作业总数,运行作业个数,排队作业个数,申请cpu核数,使用cpu核数,排队cpu核数等信息。申请cpu总资源比,通过数字的颜色来反应使用程度:0%<X<30%(绿色),30%<X<50%(蓝色),50%<X<80%(橙色),80%<X>作业管理:统计作业号、作业名称、用户、软件、节点数、核数、状态、开始时间、优先级等信息。当作业排队状态时,允许修改作业的优先级。另外管理员也可以删除任意作业。 51 4.8.7 管理员工具>>监控作业排队原因 51 4.8.8 管理员工具>>一周作业统计: 统计当天到过去一周内所累积的运行排队作业个数。 51 4.8.9 管理员工具>>求解器使用情况统计:统计每个求解器提交的作业总数,在运行的作业,请求的cpu,排队cpu,使用cpu等信息。 52 4.8.10 管理员工具>>磁盘统计:通过WEB页面随时了解本地磁盘的使用情况。使用百分率,通过数字的颜色来反应使用程度:0%<X<30%(绿色),30%<X<50%(蓝色),50%<X<80%(橙色),80%<X>项目管理项:管理员可以以项目为单位,设定项目编号、项目名称、项目的开始结束时间,项目组人员项目的优先级。当有紧急的项目,管理员可以把项目的优先级提高,并可以把相应的用户加到项目组中,以此提高项目组成员的作业优先级。用户在Web Portal页面提交作业可以选择项目名称,并且只能选择自己所属项目的项目名称。 53 4.8.12 管理员工具>>作业委托管理: 统计当前用户自己所提交的作业总数,包含:作业号,作业名称,具体用户,使用的软件,使用节点数,作业状态等信息,用户可以把自己的一部分作业或所有作业委托给其他用户. 53 4.8.13 管理员工具>> CPU资源份额调整: 统计所有队列下每个用户的软份额限制,硬份额限制(软限制>整体HPC计算资源实时使用统计: 统计当前所有高性能机器集群的计算资源数目,运行状况,存储等使用情况。 54 4.8.15 管理员工具>> WEBFTP大文件上传: 招标书中明确要求提供基于网页的FTP上传工具,方便上传大文件。 55 4.8.16 portal用户密码校验: 为了安全保密,当用户在登陆portal的时候,连续5此输入密码错误,系统会冻结用户。直到一段时间后,方可再次登陆。 55 4.9 报表工具PBS Analytics介绍 56 4.9.1 Analytics架构 56 4.9.2 Analytics功能说明 57 4.9.3 Analytics实际案例分析 57 4.10 SAO解决方案 59 4.10.1 SAO架构 60 5 PBS支持仿真软件 61 5.1 CAE领域中支持软件分类及特点 61 5.2 CAE领域中支持软件及介绍 61 5.3 CFD领域中支持软件及介绍 63 5.4 其他领域及自研软件 64 6 其他作业调度系统的比较优势 65 6.1 Top100超级计算中心占有率对比 65 6.2 Display Manager让用户的仿真整个过程从工作站到了云端 65 6.3 针对大规模计算中心之功能特性 67 6.4 领域知识对比(并有能力帮助HPC中心建立围绕计算的业务能力) 68 7 成功案例 68 7.1 汽车行业用户列表 68 7.2 成功案例-泛亚汽车(通用设计中心) 69 7.3 PBS在中国实施的大规模计算案例 71 7.4 PBS在全球实施的大规模计算案例 72 8 平台架构与软硬件配置建议 72 8.1 硬件平台选型常见误区 72 8.2 cpu架构的选择 73 8.3 计算网络的选择 76 8.4 存储系统的选择 79 8.5 GPU的选择 80 8.6 节点类型的选择 87 8.7 操作系统的选择 87 8.8 并行文件系统的选择 88 8.9 PBS Professional的数据流控制 89 8.10 推荐配置 90 9 硬件常见测试 92 9.1 性能峰值能力测试点 92 9.2 测试压力估算 92 9.2.1 估算结果 92 9.2.1.1. 性能峰值能力测试估算 92 9.3 测试完成准则 93 9.4 测试风险 93 9.5 测试策略 93 9.6 测试用例详细 93 9.6.1 术语 93 9.6.2 性能测试用例描述 94 9.6.2.1. 机群性能测试描述 94 10 Altair介绍 96
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值