计算资源管理
文章平均质量分 87
小信瑞
研发设计VDI
展开
-
Altair® PBS Professional®——行业超前的 HPC 和高吞吐量计算工作负载管理器和作业调度程序
PBS Professional 是一款快速、强大的工作负载管理器,旨在提高生产力、优化利用率和效率,并简化集群、云和超级计算机的管理——从极大的 HPC 工作负载到数百万个小型、高吞吐量作业。采用高度冗余、无单点故障的自动故障转移架构,即使在出现服务器故障、网络故障甚至 PBS 后台程序崩溃的情况下,也永远不会发生作业丢失的现象,可保证作业继续运行。PBS Professional 还提供了一个工作负载仿真器,可让您轻松了解作业行为和政策变化的影响,此外,还具有让您管理整个企业预算的分配和预算管理功能。原创 2024-04-30 14:03:45 · 201 阅读 · 0 评论 -
IBM Spectrum LSF Process Manager 在共享分布式计算环境中运行和管理业务关键工作流程
IBM Spectrum LSF Process Manager 结合了复杂的异常处理、IBM Spectrum LSF 固有的可靠性以及自动化和透明的故障转移功能,有助于确保工作流无需手动干预即可完成。使用直观的图形界面,您可以轻松记录工作流程的步骤和依赖关系,然后自动执行容易出现人为错误的冗长重复性任务。技术用户喜欢基于 XML 的文件格式和丰富的命令集,因为这些命令集允许他们触发随时间而变化的工作流,并使用可编写脚本的界面作为图形环境的替代方案来管理这些流。设计、记录和运行复杂的计算工作流。原创 2024-02-20 10:53:47 · 617 阅读 · 0 评论 -
腾讯云与IBM共同打造“高性能计算服务解决方案“
IBM 是全球领先的混合云、人工智能及企业服务提供商,帮助超过 175 个国家和地区的客户,从其拥有的数据中获取商业洞察,简化业务流程,降低成本,并获得行业竞争优势。未来期待腾讯和 IBM 有更多联合方案的创新和落地。腾讯云,腾讯集团倾力打造的云计算品牌,面向全世界各个国家和地区的政府机构、企业组织和个人开发者,提供全球领先的云计算、大数据、人工智能等技术产品与服务,以卓越的科技能力打造丰富的行业解决方案,构建开放共赢的云端生态,推动产业互联网建设,助力各行各业实现数字化升级。(以下简称 LSF )。原创 2024-02-06 10:48:18 · 1715 阅读 · 0 评论 -
下载并安装集成软件包以在 Cray Linux 系统上运行 LSF
a.在 CLE 4.0 或更高版本上,确认是否存在 /opt/cray/rca/default/bin/rca-helper, /etc/xthostname 和 /etc/opt/cray/sdb/node_classes。1、在 Cray Linux (在 Cray XT/XE/XC 上) 集成上下载 LSF 集成的安装包和分发 tar 文件。大约需要 1 MB 可用空间。b.创建服务命令: xtservcmd2db -f /opt/xt-boot/default/etc/serv_cmd。原创 2024-01-29 11:33:45 · 695 阅读 · 0 评论 -
什么是高性能计算 (HPC)?HPC 如何工作?HPC 用例
HPC 可处理大量数据,并且能够实时或接近实时地解决当今最复杂的计算问题。HPC 是一种技术,它使用并行工作的强大处理器集群,处理海量多维数据集(大数据),并以极高的速度解决复杂问题。HPC 系统的运行速度通常要比最快的商用台式机、笔记本电脑或服务器系统快一百万倍以上。超级计算机作为 HPC 系统的范式已存在了几十年,这是一种专门构建的计算机,它包含数百万个处理器或处理器核心。超级计算机如今仍在我们身边;原创 2024-01-18 13:26:29 · 871 阅读 · 0 评论 -
芯片设计重要工具—— IBM LSF 分布式高性能计算调度平台
异构、高扩展性和可用架构可为传统的高性能计算和高吞吐量工作负载提供支持,也适用于大数据、认知、GPU 机器学习和容器化工作负载。:一个功能强大的界面,用于设计复杂的工程计算流程,并捕获可供其他用户使用的可重复的最佳实践。借助更多访问 HPC 资源的方式提高用户生产力,包括用于作业监视和通知的移动设备客户端,以及用于 Windows 环境的集成式桌面客户端。自动检测和配置 NVIDIA GPU 以简化 GPU 服务器的管理,并充分利用 NVIDIA GPU 的行为监视、运行状况和诊断以及会计和进程统计信息。原创 2024-01-15 09:56:07 · 1068 阅读 · 0 评论 -
IBM Spectrum LSF 常见问题
如果 EGO_DEFINE_NCPUS=cores,那么 “ncpus=number of processor x number of cores” 和 LSF Application Center GUI 中的 CPU 列值将是您在 LSF 工作程序节点上运行 lscpu 时看到的值的一半。有关为产品用于创建集群的 IBM Cloud 服务设置相应许可权的指示信息可以在 授予用户对 VPC 资源的许可权, 管理对 Schematics的用户访问权和 分配对 Secrets Manager的访问权中找到。原创 2024-01-09 09:08:58 · 404 阅读 · 0 评论 -
IBM Spectrum LSF Data Manager 通过缓存数据传输优化集群吞吐量
IBM Spectrum Computing 提供全面的软件定义基础架构解决方案组合,旨在帮助您的组织以最高效的方式提供 IT 服务,优化资源利用率,加快实现结果并降低成本。IBM Spectrum LSF Data Manager 可自动传输在 IBM Spectrum LSF 集群和云上运行的应用程序工作负载所使用的数据,通过将常用数据存储在可在用户和工作负载之间共享的智能托管缓存中,使这些数据更接近计算资源。传输的文件会自动缓存在执行的集群上,并具有可选的缓存时间。原创 2024-01-08 12:50:40 · 378 阅读 · 0 评论 -
在 IBM Cloud 上使用 Spectrum LSF 管理数据
在云环境中处理 HPC 工作负载时,要解决的一个关键挑战是如何以最佳方式管理运行工作负载所需的数据,以及可能需要分析以进行进一步处理和决策的输出。 通过使用部署在 IBM Cloud®上的 IBM® Spectrum LSF 集群,您可以使用以下方法来管理数据。原创 2024-01-04 10:33:43 · 804 阅读 · 0 评论 -
使用 Spectrum LSF 设置多集群和作业转发
以下示例是有关如何使用 Spectrum LSF设置多集群和作业转发的指南。 此示例说明了集群是本地集群,另一个在云中的常见情况。原创 2024-01-03 10:08:10 · 380 阅读 · 0 评论 -
配置和使用 IBM Spectrum LSF 集成
IBM Spectrum LSF with IBM Cloud Private 可变地使用许可,用于扩展到云的动态计算工作负载,使您可以通过具有成本效益的按需购买即用许可,来优化基于云的资源使用。IBM Spectrum LSF on Cray Linux IBM Spectrum LSF 与 Cray Linux 的集成适用于 LSF 版本8.0或更高版本,并支持与 Cray Linux Environment 4.0或更高版本的集成。原创 2023-12-20 09:39:44 · 410 阅读 · 0 评论 -
在 Cray Linux 上配置 LSF 集成
如果环境中未安装 RUR ,那么必须通过在 lsf.conf中设置 LSF_CRAY_RUR_ACCOUNTING=N 来禁用 RUR。4.修改 $LSF_ENVDIR/lsbatch/<cluster_name>/configdir/lsb.hosts。您可以将计算节点添加到 $LSF_ENVDIR/lsf.cluster.<cluster_name>中的 HOST 部分。5.修改 $LSF_ENVDIR/lsbatch/<cluster_name>/configdir/lsb.queues。原创 2023-12-19 11:17:13 · 936 阅读 · 0 评论 -
将 OpenLDAP 与 IBM Spectrum LSF 集成
IBM Spectrum LSF 是一个工作负载管理平台,提供强大的资源管理功能来优化应用程序性能和最大限度提高资源使用率。OpenLDAP 是轻量级目录访问协议 (LDAP) 的开放式源代码实现,提供集中式认证和目录服务。通过遵循本教程中概述的步骤,您可以将 OpenLDAP 与 IBM Spectrum LSF集成,这使您能够使用现有 LDAP 基础结构进行认证,从而使用户能够更安全,更简化地访问 IBM Spectrum LSF。原创 2023-12-18 10:17:23 · 989 阅读 · 0 评论 -
关于 IBM Spectrum LSF
IBM® Spectrum LSF 允许您使用 IBM Spectrum LSF 作为 HPC 调度软件来部署高性能计算 (HPC) 集群。 此产品使用基于开放式源代码 Terraform 的自动化来供应和配置 IBM Cloud 资源。 通过简单的步骤来定义配置属性并使用自动化部署,您可以在几分钟内通过对集群中的工作程序节点使用您选择的基于 Intel x86 的 VPC 虚拟服务器实例概要文件类型 来构建自己的 HPC 集群。原创 2023-11-23 10:19:01 · 72 阅读 · 0 评论 -
HPC 集群计算类型的注意事项
对于可以适合单个虚拟机上的通信密集型工作负载,最好选择最佳匹配项,最多可使用 128 个核心虚拟机实例,而不是在多个虚拟机实例之间拆分具有较小核心计数的工作负载。:可以设置可扩展的 MPI 作业,这些作业需要配置为最多 80 Gbps 的多个虚拟机,但这需要多个 NIC ,并且可能不需要这些 NIC。从角度来看,在同一虚拟机上运行的两个进程可能能够以微秒 (例如, 0.3 微秒) 的一小部分进行通信,而在两个虚拟机实例中,可能需要 30 微秒以上的时间。这是第二类工作负载,其中要求具有多个要执行的虚拟机。原创 2023-11-22 10:41:00 · 77 阅读 · 0 评论 -
IBM LSF 分布式集群管理软件有什么优势?有哪些公司在使用 IBM LSF?
IBM Spectrum LSF 是 IBM 旗下的一款分布式集群管理软件,主要是负责资源调度和批处理作业的调度,提供强大的资源管理功能来优化应用程序性能和最大限度提高资源使用率。IBM Spectrum® LSF Suites 提供完全集成的 UI 体验,通过易于使用和简化的操作,提高用户的生产力。该产品旨在提高生产力,为用户提供了更多访问 HPC 资源的方法,包括用于作业监控和通知的移动客户端,以及用于 Windows 环境的集成桌面客户端。将增强的用户界面与策略和自动化相结合,获得更好的结果。原创 2023-11-17 10:17:41 · 218 阅读 · 0 评论 -
HPC 工作负载管理 —— IBM Spectrum LSF Suite
IBM® Spectrum LSF 系列是一套完整的工作负载管理解决方案组合,适用于要求苛刻的高性能计算 (HPC) 环境。具有一套全面的智 能调度功能,确保将适当的资源自动分配给适当的作业,实现应用程序 性能和效率的最大化。凭借强大的管理功能和无与伦比的可扩展性, IBM Spectrum LSF 使您能够利用异构资源,确保资源分配始终与业 务优先级保持一致,同时降低成本并加快获得结果的速度。原创 2023-11-15 11:04:14 · 87 阅读 · 0 评论 -
IBM Spectrum LSF 作业调度系统,简化计算集群管理并划分工作负载优先级
IBM® Spectrum™ LSF Suites 提供高度集成的解决方案,从而提供组织所需的系统管理和工作负载优先级处理功能,同时通过隐藏复杂性帮助提高用户生产效率。原创 2023-11-08 10:03:02 · 129 阅读 · 0 评论 -
管理和使用 LSF Data Manager
管理和使用 LSF Data Manager ,使应用程序能够访问它们所需要的数据,以不受阻碍地完成与应用程序相关的数据位置的计算。 LSF Data Manager 通过尽可能将所需数据文件登台到应用程序来解决数据局部性问题。 您可以将输入数据从外部源存储库登台到集群执行主机,并在作业完成后将输出数据异步登台到外部目标存储库。原创 2023-11-07 10:48:16 · 74 阅读 · 0 评论 -
高性能计算 (HPC) 如何工作及其用例
HPC 是一种技术,它使用并行工作的强大处理器集群,处理海量多维数据集(大数据),并以极高的速度解决复杂问题。HPC 系统的运行速度通常要比最快的商用台式机、笔记本电脑或服务器系统快一百万倍以上。超级计算机作为 HPC 系统的范式已存在了几十年,这是一种专门构建的计算机,它包含数百万个处理器或处理器核心。超级计算机如今仍在我们身边;截至本文撰写之时,最快的超级计算机就是位于美国的 Frontier,其处理速度为1.102exaflops。原创 2023-11-06 10:41:27 · 132 阅读 · 0 评论 -
启用 EGO 的 LSF
具有 LSF 的企业网格协调器(enterprise grid orchestrator EGO)能够提供系统基础结构,来控制和管理集群资源。 资源是应用程序使用的物理和逻辑实体。 LSF 资源按照 EGO资源分配计划中的定义进行共享。原创 2023-11-03 10:32:48 · 79 阅读 · 0 评论 -
IBM LSF 作业负载管理
LSF(Load Sharing Facility)是一款分布式集群管理系统软件,负责计算资源的管理和批处理作业的调度。它给用户提供统一的集群资源访问接口,让用户透明地访问整个集群资源。同时提供了丰富的功能和可定制的策略。LSF 具有良好的可伸缩性和高可用性,支持几乎所有的主流操作系统。它通常是高性能计算环境中不可或缺的基础软件。原创 2023-11-02 09:21:54 · 210 阅读 · 0 评论 -
LSF 守护程序和进程、集群通信路径和安全模型
了解在 LSF 主机上运行的各种守护进程,LSF 集群通信路径,以及 LSF 如何容许集群中的主机故障。原创 2023-11-01 09:18:08 · 996 阅读 · 0 评论 -
LSF 概览——了解 LSF 是如何满足您的作业要求,并找到最佳资源来运行该作业的
IBM Spectrum LSF ("LSF", load sharing facility 的简称) 软件是行业领先的企业级软件。LSF 将工作分散在现有的各种 IT 资源中,以创建共享的,可扩展的和容错的基础架构,从而提供更快,更可靠的工作负载性能并降低成本。 LSF 平衡负载和分配资源,并提供对这些资源的访问。原创 2023-10-31 10:29:54 · 601 阅读 · 0 评论 -
IBM Spectrum LSF Session Scheduler(会话调度程序)提高总体集群利用率和系统性能
LSF Session Scheduler 满足运行大量短作业的以下目标:- 最大限度减少调度短作业时的等待时间;- 提高总体集群利用率和系统性能;- 根据 LSF 策略分配资源 ;- 支持现有 LSF执行前,执行后程序,作业启动程序,资源限制等;- 每个用户处理数千个用户和超过 50000 个短作业。原创 2023-10-30 10:04:48 · 122 阅读 · 0 评论 -
IBM Spectrum LSF Suite
IBM Spectrum® LSF® Suites 是面向分布式高性能计算(HPC)的工作负载管理平台和作业调度程序。基于 Terraform 的自动化现已可用,该功能可在 IBM Cloud上为基于 IBM Spectrum LSF 的集群供应和配置资源。原创 2023-10-19 15:31:28 · 102 阅读 · 0 评论 -
IBM Spectrum LSF 重要的目录和配置文件
BM Spectrum LSF在现有异构 IT 资源之间分配工作,以创建共享,可扩展且容错的基础架构,从而提供更快,更可靠的工作负载性能并降低成本。 LSF均衡负载和分配资源,并提供对这些资源的访问权。 LSF提供了一个资源管理框架,用于满足您的作业需求,查找运行该作业的最佳资源,并监视其进度。原创 2023-10-13 12:17:09 · 151 阅读 · 0 评论 -
IBM Spectrum Symphony 获享高度可扩展、高吞吐量、低延迟的工作负载管理
IBM Spectrum Symphony® 软件提供强大的企业级管理功能,用于在可扩展的共享网格上运行计算密集型和数据密集型分布式应用。 它可加速数十个并行应用,从而帮您加速实现业务成果,更高效地利用所有可用资源。利用 IBM Spectrum Symphony,您可以提高 IT 性能,降低基础架构成本和开支,并快速满足业务需求。原创 2023-10-12 13:42:56 · 165 阅读 · 0 评论 -
IBM LSF 任务调度系统的主要术语和概念
IBM Spectrum® LSF Suites 组合通过为任务关键型 HPC 环境提供集成解决方案,重新定义集群虚拟化和工作负载管理。 这有助于提高用户生产力和硬件使用,同时降低系统管理成本。 这种高度可扩展、高度可用的异构架构为传统高性能计算和高吞吐量工作负载提供支持。 它还适用于大数据、认知、GPU 机器学习和容器化工作负载。 好处. 加速工作负载. 利用高级工作负载管理功能以及策略驱动的调度,包括 GPU 调度和动态混合云,从而能够按需添加容量。原创 2023-09-22 12:10:07 · 275 阅读 · 0 评论 -
IBM Platform LSF 产品功能
IBM Platform LSF(Load Sharing Facility)产品系列是强大的工作负载管理平台,用于要求苛刻的分布式关键业务型 HPC 环境。是全面综合的工作负载管理解决方案,不仅能够简化 HPC,还能大幅改善用户和管理员体验、可靠性和性能。原创 2023-09-18 11:15:14 · 240 阅读 · 0 评论 -
IBM Spectrum LSF Process Manager —— 设计、记录和运行复杂的计算工作流
IBM® Spectrum LSF Process Manager 使您能够设计和自动化计算或分析流程,捕获和保护可重复的最佳实践。使用直观的图形界面,您可以轻松记录工作流程的步骤和依赖关系,然后自动执行容易出现人为错误的冗长重复性任务。用户可以轻松访问记录的工作流,而无需了解详细信息。借助 IBM Spectrum LSF Process Manager,您可以提高用户工作效率、缩短运行时间并提高整体流程可靠性。原创 2023-09-05 11:06:18 · 138 阅读 · 0 评论 -
IBM Spectrum LSF License Scheduler 优化许可证的共享和使用
通过根据组织自己的分发策略分配虚拟许可证池,IBM®Spectrum LSF许可证调度程序允许在本地或全球项目团队之间共享许可证。它确保根据工作负载、用户和项目确定许可证可用性的优先级,并确保许可证得到最佳使用。IBM Spectrum LSF license Scheduler根据灵活的策略管理许可证分配,而不是简单地基于许可证可用性来限制作业。原创 2023-09-04 09:46:18 · 155 阅读 · 0 评论 -
IBM Spectrum LSF Application Center 以应用程序为中心的工作负载提交和管理
IBM® Spectrum LSF Application Center 为集群用户和管理员提供了一个灵活的、以应用为中心的界面。IBM Spectrum LSF Application Center 作为 IBM Spectrum LSF 的可选附加模块提供,使用户能够与直观、自我记录的界面进行交互。这提高了用户满意度和生产力。通过对应用程序的标准化访问,IBM Spectrum LSF Application Center 可以更轻松地实施站点策略并解决安全问题。原创 2023-09-01 12:23:09 · 462 阅读 · 0 评论 -
IBM Spectrum LSF Explorer 为要求苛刻的分布式和任务关键型高性能技术计算环境提供强大的工作负载管理
IBM Spectrum LSF Explorer 是 IBM Spectrum LSF 产品系列的一部分,可为要求苛刻的分布式和任务关键型高性能技术计算环境提供强大的工作负载管理。IBM Spectrum LSF 平台包括一套全面的工作负载管理功能,旨在优化资源利用率、降低成本、加快获得结果的时间、简化管理以及简化报告和报告访问。原创 2023-08-31 10:27:56 · 920 阅读 · 0 评论 -
IBM Spectrum LSF RTM 为集群提供全面的工作负载监控、报告和管理工具
IBM Spectrum LSF RTM 是 IBM Spectrum LSF 环境的操作仪表板,提供全面的工作负载监视、报告和管理。它使集群管理员在日常活动中更加高效,并提供所需的信息和工具,提高集群效率,实现更好的用户生产力,并降低成本。与只关注集群监控其中一个方面的其他监控工具不同,IBM Spectrum LSF RTM 提供了专门为 IBM Spectrum LSF 环境设计的完整、集成的监控工具。它使您能够通过一个直观的界面轻松有效地监视多个集群。原创 2023-08-30 09:47:04 · 209 阅读 · 0 评论 -
LSF 安装目录,快速参考 LSF 命令、守护程序、配置文件、日志文件和重要集群配置参数
IBM Spectrum® LSF Suites 组合通过为任务关键型 HPC 环境提供集成解决方案,重新定义集群虚拟化和工作负载管理。 这有助于提高用户生产力和硬件使用,同时降低系统管理成本。 这种高度可扩展、高度可用的异构架构为传统高性能计算和高吞吐量工作负载提供支持。 它还适用于大数据、认知、GPU 机器学习和容器化工作负载。原创 2023-08-28 08:43:47 · 580 阅读 · 0 评论 -
IBM Spectrum LSF License Scheduler
LSF License Scheduler Standard Edition 不仅为单个集群提供集群方式功能,还提供完整的 LSF License Scheduler 功能,包括支持所有方式 (集群方式,项目方式和快速分派项目方式) (集群方式和项目方式),多个集群,功能部件和功能部件组以及每个许可证功能部件的多个服务域。例如,在应用 LSF License Scheduler 公平共享策略 (对于此作业所属的许可证项目) 之前,作业必须具有要启动的候选 LSF 主机。原创 2023-08-25 09:12:04 · 168 阅读 · 0 评论 -
IBM Spectrum LSF Data Manager
当需要大量数据来完成计算时,您的应用程序最好不受阻碍地访问与应用程序执行环境相关的数据位置所要求的数据。 许多应用在几个领域需要大量数据: 用于工业制造的流体动力学模型,用于石油和天然气勘探的地震感官数据,用于生命科学的基因序列等。 将这些大型数据集尽可能靠近应用程序运行时环境,对于保持计算资源的最佳利用率至关重要。无论您是在单个集群中运行这些数据密集型应用程序,还是要在地理上分离的集群之间共享数据数据和计算资源, LSF Data Manager 都提供了以下关键功能。原创 2023-08-24 10:12:04 · 203 阅读 · 0 评论 -
IBM LSF 系统简介
LSF(Load Sharing Facility)是IBM旗下的一款分布式集群管理系统软件,负责计算资源的管理和批处理作业的调度。它给用户提供统一的集群资源访问接口,让用户透明地访问整个集群资源。同时提供了丰富的功能和可定制的策略。LSF 具有良好的可伸缩性和高可用性,支持几乎所有的主流操作系统。它通常是高性能计算环境中不可或缺的基础软件。作用上与PBS一样,使用方法略有不同。原创 2023-08-22 09:01:57 · 379 阅读 · 0 评论 -
IBM Spectrum LSF 安全性及高级配置
全局公平共享调度策略在用户之间划分 IBM Spectrum LSF 多集群功能 和 IBM Spectrum LSF Advanced Edition 的 LSF/XL 功能部件 的处理能力,以提供对所有资源的公平访问权,以便每个用户都可以根据其配置的共享来使用多个集群的资源。针对大型 LSF 安装配置,管理和使用 IBM Spectrum LSF 能源感知调度功能,其中操作大型系统的能源需求正在成为这些系统总体成本的重要因素。在作业转发模型中,资源短缺的集群会将作业发送到具有备用资源的集群。原创 2023-08-16 08:22:54 · 234 阅读 · 0 评论