IBM Spectrum LSF 重要的目录和配置文件

最新推荐文章于 2024-02-06 10:48:18 发布
最新推荐文章于 2024-02-06 10:48:18 发布
阅读量158 收藏
点赞数
分类专栏： 集群管理 计算资源管理 LSF任务调度系统 文章标签： 集群管理 高性能计算 IBM LSF LSF 任务调度系统 计算资源管理 计算资源共享 工作负载管理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43653083/article/details/133808053
版权

IBM Spectrum LSF 重要的目录和配置文件

LSF 配置通过多个配置文件进行管理，您可以使用这些配置文件来修改集群的行为。

四个重要的 LSF 配置文件

以下是您最常用的四个最重要的文件:

  • LSF_CONFDIR/lsf.conf
  • LSF_CONFDIR/lsf.cluster.cluster_name
  • LSF_CONFDIR/lsf.shared
  • LSB_CONFDIR/cluster_name/configdir/lsb.queues

这些文件是在产品安装期间根据您在 install.config 文件中指定的选项创建的。 安装后，您可以更改这些文件中的配置参数以满足站点的需要。

谁拥有这些文件

除了由 root 用户拥有的 LSF_CONFDIR/lsf.conf以外，所有这些文件都由主 LSF 管理员拥有，并且可供所有集群用户读取。

lsf.conf

LSF中最重要的文件。 它包含配置目录，日志目录，库和其他全局配置信息的路径。 lsf.conf 文件的位置由 LSF_ENVDIR 变量定义。 如果 LSF 找不到此文件，那么它无法正确启动。

缺省情况下， LSF 会检查 LSF_ENVDIR 参数定义的目录以查找 lsf.conf 文件的位置。 如果 lsf.conf 文件不在 LSF_ENVDIR中，那么 LSF 会在 /etc 目录中查找该文件。

lsf.cluster.cluster_name

定义集群中所有主机的主机名，型号和类型。 它还定义 LSF 管理员的用户名以及一个集群的不同共享资源的位置。

lsf.shared

此文件类似于定义集群所使用的所有关键字的字典。 您可以添加自己的关键字以指定资源或主机类型的名称。

lsb.queues

定义一个集群的工作负载队列及其参数。

LSF 目录

以下目录由主 LSF 管理员拥有，并且可供所有集群用户读取:

目录

描述

示例

LSF_CONFDIRLSF 配置目录/usr/share/lsf/cluster1/conf/
LSB_CONFDIR批处理系统配置目录/usr/share/lsf/cluster1/conf/lsbatch/
LSB_SHAREDIR作业历史记录目录/usr/share/lsf/cluster1/work/
LSF_LOGDIR服务器守护程序错误日志，每个守护程序一个/usr/share/lsf/cluster1/log/

以下目录由 root 用户拥有，并且可供所有集群用户读取:

目录

描述

示例

LSF_BINDIRLSF 用户命令，由同一类型的所有主机共享/usr/share/lsf/cluster1/10.1.0/sparc-sol10/bin/
LSF_INCLUDEDIR头文件 lsf/lsf.h 和 lsf/lsbatch.h/usr/share/lsf/cluster1/10.1.0/include/
LSF_LIBDIRLSF 库，由同一类型的所有主机共享/usr/share/lsf/cluster1/10.1.0/sparc-sol10/lib/
LSF_MANDIRLSF 联机帮助页/usr/share/lsf/cluster1/10.1.0/man/
LSF_MISC示例和其他杂项文件/usr/share/lsf/cluster1/10.1.0/misc/
LSF_SERVERDIR服务器守护程序二进制文件，脚本和其他实用程序，由同一类型的所有主机共享/usr/share/lsf/cluster1/10.1.0/sparc-sol10/etc/
LSF_TOP顶级安装目录/usr/share/lsf/cluster1/

可以在 LSF_CONFDIR/lsf.conf 文件中指定其他配置目录。

LSF 集群配置文件

以下文件由主 LSF 管理员拥有，并且可供所有集群用户读取:

文件

示例

全局配置文件，用于描述集群的配置和操作
  • /usr/share/lsf/cluster1/conf/ego/cluster1/kernel/ego.conf
  • /usr/share/lsf/cluster1/conf/lsf.conf
所有集群共享的关键字定义文件。 定义集群名称，主机类型，主机模型和特定于站点的资源/usr/share/lsf/cluster1/conf/lsf.shared
用于定义站点定义的共享资源的主机，管理员和位置的集群配置文件/usr/share/lsf/cluster1/conf/lsf.cluster.cluster1

LSF 批处理工作负载系统配置文件

以下文件由主 LSF 管理员拥有，并且可供所有集群用户读取:

文件

示例

服务器主机及其属性，例如调度负载阈值，分派窗口和作业槽限制。 如果此文件中未定义任何主机，那么假定 LSF_CONFDIR/lsf.cluster.cluster_name 中列出的所有 LSF 服务器主机都是 LSF 批处理服务器主机。/usr/share/lsf/cluster1/conf/lsbatch/cluster1/configdir/lsb.hosts
LSF 调度程序和资源代理插件模块。 如果未配置调度程序或资源代理程序模块，那么 LSF 将使用名为 schmod_default的缺省调度程序插件模块。/usr/share/lsf/cluster1/conf/lsbatch/cluster1/configdir/lsb.modules
LSF 批处理系统参数文件/usr/share/lsf/cluster1/conf/lsbatch/cluster1/configdir/lsb.params
作业队列定义/usr/share/lsf/cluster1/conf/lsbatch/cluster1/configdir/lsb.queues
资源分配限制，导出和资源使用限制。/usr/share/lsf/cluster1/conf/lsbatch/cluster1/configdir/lsb.resources
LSF 用户组，用户和用户组的分层公平共享以及用户和用户组的作业槽限制。 还用于配置 LSF 多集群功能的帐户映射。/usr/share/lsf/cluster1/conf/lsbatch/cluster1/configdir/lsb.users
应用程序概要文件，其中包含相同作业类型的公共参数，包括应用程序的执行需求，它们需要的资源以及它们的运行和管理方式。 此文件是可选的。 使用 lsb.params 文件中的 DEFAULT_APPLICATION 参数为所有作业指定缺省应用程序概要文件。 LSF 不会自动分配缺省应用程序概要文件。/usr/share/lsf/cluster1/conf/lsbatch/cluster1/configdir/lsb.applicatons

LSF 批处理日志文件

文件

示例

批处理事件日志/usr/share/lsf/cluster1/work/ cluster1/logdir/lsb.events
批处理记帐日志/usr/share/lsf/cluster1/work/ cluster1/logdir/lsb.acct

守护程序日志文件

LSF 服务器守护程序日志文件存储在 LSF_CONFDIR/lsf.conf中由 LSF_LOGDIR 指定的目录中。

文件

示例

装入信息管理器 (lim)/usr/share/lsf/cluster1/log/lim.log.hosta
远程执行服务器 (res)/usr/share/lsf/cluster1/log/res.log.hosta
管理 批处理守护程序 (mbatchd)/usr/share/lsf/cluster1/log/ mbatchd.log.hosta
管理 调度程序守护程序 (mbschd)/usr/share/lsf/cluster1/log/mbschd.log.hosta
服务器 批处理守护程序 (sbatchd)/usr/share/lsf/cluster1/log/sbatchd.log.hosta
进程信息管理器 (pim)/usr/share/lsf/cluster1/log/ pim.log.hosta
小信瑞
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
lsf-kubernetes:适用于IBM Spectrum LSF的HPC兼容Kubernetes集成的主页
05-26
LSF-Kubernetes 介绍 LSF-Kubernetes集成提供了三个关键功能： 在有限的资源供应范围内有效管理工作负载中高度可变的需求 在共享的多租户环境中为不同的使用者和工作负载提供改进的服务水平 优化了通用图形处理单元...
SpectrumScaleVagrant：在Vagrant环境中安装和配置IBM Spectrum Scale的示例脚本和配置文件
02-06
频谱规模流浪汉在Vagrant环境中安装和配置IBM Spectrum Scale的示例脚本和配置文件。安装脚本和配置文件使用Vagrant设置了一个单节点Spectrum Scale群集。从GitHub获取脚本和配置文件打开命令提示符并克隆GitHub存储...
IBM Spectrum LSF 安全性及高级配置
qq_43653083的博客
08-16 235
全局公平共享调度策略在用户之间划分 IBM Spectrum LSF 多集群功能 和 IBM Spectrum LSF Advanced Edition 的 LSF/XL 功能部件 的处理能力，以提供对所有资源的公平访问权，以便每个用户都可以根据其配置的共享来使用多个集群的资源。针对大型 LSF 安装配置，管理和使用 IBM Spectrum LSF 能源感知调度功能，其中操作大型系统的能源需求正在成为这些系统总体成本的重要因素。在作业转发模型中，资源短缺的集群会将作业发送到具有备用资源的集群。
LSF作业管理系统简易使用指南
xiaoyami的博客
12-15 6003
LSF简易使用指南 LSF(Load Sharing Facility)是一个被广泛使用的作业管理系统，具有高吞吐、配置灵活的优点。通过 LSF 集中监控和调度，可以充分利用计算机的CPU、内存、磁盘等资源。 1. 登陆超算服务器 命令行窗口使用ssh登陆： >>ssh username@address username 是申请的账号用户名，address是服务器地址，上海台超算服务器地址：119.78.226.25 然后输入密码，即可登陆LSF 除此之外还可以使用MobaXterm或File
IBM Spectrum LSF RTM
qq_43653083的博客
05-13 834
IBM Spectrum LSF RTM IBM Spectrum LSF RTM是IBM Spectrum LSF环境的操作仪表板，提供全面的工作负载监视、报告和管理。它使集群管理员在日常活动中更加高效，并提供所需的信息和工具，以提高集群效率，实现更好的用户生产力，并包含或降低成本。与只关注集群监控的一个方面的其他监控工具不同，IBM Spectrum LSF RTM提供了专门为IBM Spectrum LSF环境设计的完整、集成的监控工具。它使您能够通过一个直观的界面轻松有效地监视多个集群。 亮点 ●为
IBM Spectrum LSF-手册
qq_43653083的博客
05-18 1512
在所有规模的企业中，应用程序能力和数据量持续显著增长，推动了对更多计算能力和高性能管理和分析工具的需求。即使在传统的高性能计算(HPC)环境中，多个计算竖井、不均匀处理、设计周期泄漏和延迟结果也是常见的。面对日益严格的经济压力，组织正在寻找更好的方法来提高IT性能，减少基础设施成本和开支，并满足更快地解决方案和市场的需求。要在这种环境中取得成功，组织需要有针对性的技术计算管理解决方案和软件，这些解决方案和软件可以帮助创建、集成和管理共享的分布式计算环境，从而加速应用程序性能，提高基础设施的灵活性，并减少产生
IBM Spectrum LSF Application Center
qq_43653083的博客
05-12 452
IBM Spectrum LSF Application Center IBM®Spectrum LSF Application Center为集群用户和管理员提供了一个灵活的、以应用程序为中心的界面。IBM Spectrum LSF Application Center作为IBMSpectrum LSF的一个可选附加模块提供，用户可以与直观的、自文档化的接口进行交互。这提高了用户满意度和工作效率。通过标准化对应用程序的访问，IBM Spectrum LSF Application Center简化了实施站
借助IBM Spectrum LSF为芯片行业大幅提升算力，预测未来
qq_43653083的博客
02-27 470
鉴于IBM Spectrum LSF产品在调度系统市场的领导地位，“CClab HPC ”系统软件选择了IBM Spectrum LSF产品为底层核心，为芯片行业客户解决了EDA平台大规模自动化作业资源调度管理及数据报表的难题，客户因此可以更加准确地进行未来扩展的评估，以及获得大幅度的算力利用率的提升。根据对用户的调研，利用率提升范围可达5%～15%。
IBM Spectrum LSF Application Center 以应用程序为中心的工作负载提交和管理
qq_43653083的博客
09-01 468
IBM® Spectrum LSF Application Center 为集群用户和管理员提供了一个灵活的、以应用为中心的界面。IBM Spectrum LSF Application Center 作为 IBM Spectrum LSF 的可选附加模块提供，使用户能够与直观、自我记录的界面进行交互。这提高了用户满意度和生产力。通过对应用程序的标准化访问，IBM Spectrum LSF Application Center 可以更轻松地实施站点策略并解决安全问题。
IBM Spectrum LSF RTM 为集群提供全面的工作负载监控、报告和管理工具
qq_43653083的博客
08-30 218
IBM Spectrum LSF RTM 是 IBM Spectrum LSF 环境的操作仪表板，提供全面的工作负载监视、报告和管理。它使集群管理员在日常活动中更加高效，并提供所需的信息和工具，提高集群效率，实现更好的用户生产力，并降低成本。与只关注集群监控其中一个方面的其他监控工具不同，IBM Spectrum LSF RTM 提供了专门为 IBM Spectrum LSF 环境设计的完整、集成的监控工具。它使您能够通过一个直观的界面轻松有效地监视多个集群。
IBM Spectrum LSF芯片数据共享存储我们有解决方案
02-25 843
NetApp品牌存储是芯片设计公司使用的主存储。除了提供大量的存储空间，各种芯片设计的逻辑过程中，NetApp还提供以下功能，有助于提高整体芯片的设计周期； IBM®Platform™LSF®是功能强大的工作负载管理平台，适用于苛刻的分布式HPC环境。 它提供了一套全面的、智能的、由策略驱动的调度功能，使您能够利用所有计算基础架构资源并确保最佳的应用程序性能。LSF功能强大，是集成电路设计行业具有统治地位的集群管理调度系统。同免费开源的openlava和SGE等相比，LSF在...
ibm-spectrum-scale-install-infra：Spectrum Scale安装和配置
01-31
使用Ansible角色的IBM Spectrum Scale（GPFS）部署具有多个角色的Ansible项目，用于安装和配置IBM Spectrum Scale（GPFS）。 目录产品特点基础架构最低测试配置 预先构建的基础架构（使用静态清单文件） 动态库存...
ibm.spectrum_virtualize:IBM Spectrum虚拟化
05-17
Ansible集合-ibm.spectrum_virtualize 该集合提供了用于与IBM Spectrum Virtualize Family存储产品进行交互的一系列Ansible模块和插件。 这些产品包括IBM SAN卷控制器，使用IBM Spectrum Virtualize构建的IBM Flash...
IBM Spectrum Protect Plus 大幅简化虚拟机的数据恢复和访问
03-30
IBM Spectrum Protect Plus 大幅简化虚拟机的数据恢复和访问
IBM Platform LSF家族安装和配置简介
qq_43653083的博客
04-29 7721
集群结构 较大的集群都会设计单独的登录节点，用户只能ssh到登录节点，不能直接ssh到集群的任何主节点和计算节点。同时配置用户在计算节点之间的ssh互信，为了并行作业的运行。 登录节点也安装LSF，配置为LSF静态Client或者MXJ值为0，也即不运行作业的客户端。集群的WEB节点与办公访问局域网一个网段。如需使用浮动client，主节点网卡需要 单纯LSF环境（命令行提交）...
关于LSF的高级用法
qq_43653083的博客
09-02 2341
1、通过脚本查询Job的利用率和所占的Core数，从而管理低利用率的Job。 •通过脚本查询JOB的利用率和所占的CORE数，从而管理低利用率的JOB。 •低CPU利用率的JOB要特别小心，最可能存在2个原因：JOB缺少LICENSE导致等待；存储IO过高，导致JOB一会儿用CPU，一会儿不用。 2、通过BSTAT脚本，同时看到某台服务器的LSLOAD信息和BHOSTS,LSHOSTS相关信息 •建议显示一起上相关信息，可以指定某台主机或者某个主机组。 3、配置Explorer，使用ElasticSearc
腾讯云与IBM共同打造“高性能计算服务解决方案“
最新发布
qq_43653083的博客
02-06 1728
IBM 是全球领先的混合云、人工智能及企业服务提供商，帮助超过 175 个国家和地区的客户，从其拥有的数据中获取商业洞察，简化业务流程，降低成本，并获得行业竞争优势。未来期待腾讯和 IBM 有更多联合方案的创新和落地。腾讯云，腾讯集团倾力打造的云计算品牌，面向全世界各个国家和地区的政府机构、企业组织和个人开发者，提供全球领先的云计算、大数据、人工智能等技术产品与服务，以卓越的科技能力打造丰富的行业解决方案，构建开放共赢的云端生态，推动产业互联网建设，助力各行各业实现数字化升级。（以下简称 LSF ）。
IBM Platform LSF在IC行业内的使用
qq_43653083的博客
09-02 1433
LSF在ＩＣ设计中有哪些值得匹配的 1、管理低利用率Job •针对short normal这类队列，查询20分钟以后，Job利用率依然很低的Job信息。 •$bjobs -u all -q short -o ‘id user queue stat ugroup first_host sla idle_factor slots run_time mem max_mem avg_mem job_name:15 cmd:45 eresreq start_time cpu_used’ | gre...
IBM ds3512配置详解
08-03
很抱歉，但是我没有找到关于IBM ds3512配置的相关信息。我可以为您提供关于IBM Spectrum Scale storage和IBM Elastic Storage Server的信息，如果您对这些有兴趣的话。IBM Spectrum Scale storage是一种基于软件的交付模型，用户可以在现有的硬件上部署，支持多种服务器硬件和操作系统，包括Linux on Power、Linux on IBM z Systems、Linux on x86 (64-bit)、IBM AIX on Power、Microsoft Windows on x86 (64-bit)等[1]。而IBM Elastic Storage是完全继承了GPFS的产品，也被称为Elastic Storage，兼容AIX、Linux和Windows Server操作系统，支持IBM POWER、Intel或AMD Opteron服务器和z Systems[2]。IBM Elastic Storage Server软件包括Red Hat Enterprise Linux 7 for Power、GPFS Standard Edition 4.X、GPFS Native RAID 4.X、IBM Support for xCAT 2（Extreme Cluster/Cloud Administration Toolkit）[3]。希望这些信息对您有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值