LSF打开Job idle information以看job的cpu time/elapse time使用情况

已于 2022-06-23 22:46:21 修改
阅读量900 收藏 5
点赞数 2
分类专栏： HPC 文章标签： 服务器
于 2022-06-23 22:08:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/thesre/article/details/125435802
版权

需求描述

如何知道job的cpu time/elapse time情况？

需求分析

经查看文档，

在/home/lsfadmin/dist/conf/lsbatch/my-lsf-cluster/configdir/lsb.queues文件的定义normal队列处，加上JOB_IDLE定义，如图所示，

 修改完配置文件，执行

badmin reconfig

重新提交一个job到normal队列，并查看，

出现了IDLE_FACTOR(cputime/runtime)字段。

参考资料：

IBM Docs 的

Why does the parameter JOB_IDLE configured in lsb.queues sometimes not take effect ?

王万林 Ben
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
linux查看job运行时间,我的JOB执行时间,我说了算
weixin_39640904的博客
05-05 861
我的JOB执行时间,我说了算如果JOB的interval直接用sysdate指定,如: sysdate + 5/1440,oracle自动生成的下一次的执行时间，会有几秒的延迟.下面是一个测试:1.创建表test_job_a,用于记录JOB开始执行时间和结束时间SQL> create table test_job_a (2 start_date date,3 end_date date ...
HPC+LSF+用户使用指南
03-22
- 使用`bjobs`命令查看作业的状态、进度和资源使用情况。 2. **显示资源分配限制** - 通过特定选项，可以查看作业的资源限制，包括CPU时间、内存等。 通过以上内容，用户可以了解如何在IBM Spectrum LSF环境中...
Set statistics time 输出 CPU time> elapsed time
weixin_34318956的博客
12-26 172
今天用SetStatisticistime比较语句的执行时间，信息如下：SQLServerExecutionTimes:CPUtime=199229ms,elapsedtime=156327ms.SQLServerparseandcompiletime:CPUtime=0ms,elapsedtime=0m...
T-SQL命令在SQL Server查询中的运用
JAVA海洋
08-31 244
　　首先需要说明的是这篇文章的内容并不是如何调节SQL Server查询性能的（有关这方面的内容能写一本书），而是如何在SQL Server查询性能的调节中利用SET STATISTICS IO和SET STATISTICS TIME这二条被经常忽略的Transact-SQL命令的。　　从表面上看，查询性能的调节是一件十分简单的事。从本质上讲，我们希望查询的运行速度能够尽可能地快，无论是将查询运行...
查看job和存储过程的运行时长
weixin_30507269的博客
04-27 294
做两个系统之前的数据同步时，常常会把源数据（txt. csv. excel. RFC-read table)先存到一个中间数据库的临时表，然后用SSIS JOB去调用一些存储过程，同步数据到目标系统的目标表。 最近有一些存储过程同样在JOB中被调用，执行很慢，导致其它系统（如CRM需要查询）死锁，这里提供两组SQL。 1.查询当前数据库中存储过程的执行情况，包括执行次数，执行时长，存储过程的脚...
LSF - bsub提交的任务关掉了，bjob查看job还在RUN？
IT架构师
05-19 3774
HPC环境下，使用打开cgroup的LSF集群，经常会出现这样的情况：`bsub`提交了一个`gnome-terminal`，用完之后将`gnome-terminal`关掉了，这个`job`还在运行。 通过`bjobs -l <JOB ID>`查看到`执行机`，然后登陆上去看，发现有`dbus-luanch`与`dbus-daemon`两个进程在运行。正因为这两个进程还在运行，导致`LSF`判断`job`还在运行。
lsf-stats:Web 浏览器中 lsf 使用情况统计的实时图表
07-06
#lsf-stats lsf-stats使用带有实时散点图和历史图的 IBM 平台负载共享设施 (LSF) 显示集群的资源利用率统计信息。 这些实时图表可在网络浏览器中查看。 此应用程序是使用 、 、 和 api 构建的。 安装 make 打开...
HPC+LSF+LSF管理员手册
03-22
《HPC+LSF+LSF管理员手册》是针对IBM Spectrum LSF v10 Release 1的管理员指南，旨在帮助用户有效地管理和监控基于高性能计算（HPC）的集群环境。LSF（Load Sharing Facility）是一种分布式作业调度系统，用于优化...
LSF License Scheduler 安装管理手册
03-30
LSF（Load Sharing Facility）是IBM开发的一种高性能...LSF License Scheduler是IBM Spectrum LSF系统的关键组成部分，通过深入了解和熟练使用其功能，可以有效地管理并优化HPC环境中的许可证资源，提高整体计算效率。
cpu time与elapsed time-----这个解释很精辟啦
cnos50350的博客
11-02 3334
cpu表示主要消耗在逻辑读与计算型的东西，如计算型函数。一个语句，有cpu time与elapsed time如果cpu time 比较大，那么表示逻辑读比较多如果cpu time=elapsd time，表示基本是逻辑读，很少...
Linux - 因执行机光模块故障导致LSF job的idle_factor为0
IT架构师
09-01 237
Linux - 因执行机光模块故障导致LSF job的idle_factor为0 问题描述 某台执行机hostA上的任务，任务无进展，对应的log无内容。 问题查看 登陆上去， 使用top -u $USER -> H查看用户的进程大多是S状态，一两个是D状态，占用的CPU都是0； 使用top - H - 1查看所有CPU情况，发现多数CPU都是0%，有4个是100%，都是IO wait。 查看网卡数据 $ watch "cat /proc/net/dev| column -t" 可以看到网卡的er
LSF如何看job预留slot是否合理？
IT架构师
06-23 663
问题描述很多时候，用户预留多了或少了slot，导致执行机很空或很挤。有方法，看job预留slot是否合理吗？问题解决按照https://blog.csdn.net/thesre/article/details/125435802将idle_factor字段打开，然后比较预留值与idle_factor两者相差多大，即可知道job预留slot是否合理。......
LSF_管理用户、主机和队列_2
IForFree
04-25 1732
添加任务队列 编辑lsb.queues文件来添加新的队列的定义。添加队列并不会影响挂起和正在运行的作业。 步骤 以管理员administrator登录集群中的任何一台主机。 编辑LSB_CONFDIR/cluster_name/configdir/lsb.queues文件添加新队列的定义。你可以复制其他的队列定义信息作为开始的一步。记住在复制的内容中更改QUEUE_NAME参数信息。 保存对此文件的更改。 配置文件准备完毕时，运行badmin ckconfig命令来检查新队列的定义信息。如果有错误报出则修
LSF作业管理系统简易使用指南
xiaoyami的博客
12-15 6379
LSF简易使用指南 LSF(Load Sharing Facility)是一个被广泛使用的作业管理系统，具有高吞吐、配置灵活的优点。通过 LSF 集中监控和调度，可以充分利用计算机的CPU、内存、磁盘等资源。 1. 登陆超算服务器 命令行窗口使用ssh登陆： >>ssh username@address username 是申请的账号用户名，address是服务器地址，上海台超算服务器地址：119.78.226.25 然后输入密码，即可登陆LSF 除此之外还可以使用MobaXterm或File
关于LSF的高级用法
qq_43653083的博客
09-02 2427
1、通过脚本查询Job的利用率和所占的Core数，从而管理低利用率的Job。 •通过脚本查询JOB的利用率和所占的CORE数，从而管理低利用率的JOB。 •低CPU利用率的JOB要特别小心，最可能存在2个原因：JOB缺少LICENSE导致等待；存储IO过高，导致JOB一会儿用CPU，一会儿不用。 2、通过BSTAT脚本，同时看到某台服务器的LSLOAD信息和BHOSTS,LSHOSTS相关信息 •建议显示一起上相关信息，可以指定某台主机或者某个主机组。 3、配置Explorer，使用ElasticSearc
lsf服务器窗口显示,LSF指定进程提交到指定QUEUES中
weixin_30404433的博客
08-02 836
在LSF中，我们经常会遇到某些应用在提交时必须提交到指定的queues中去运行的情况。如遇到这种需求，我们需要对进程进行判断，然后将进程扔到配置好的queues中即可。操作分3步。1、配置esub，开启此项功能配置****/lsf/conf/lsf.conf，添加以下行：LSB_ESUB_METHOD=checkLSB_SUB_COMMANDNAME=Y2、配置esub相关文件建立配置文件：***...
IBM Platform LSF家族安装和配置简介
qq_43653083的博客
04-29 7923
集群结构 较大的集群都会设计单独的登录节点，用户只能ssh到登录节点，不能直接ssh到集群的任何主节点和计算节点。同时配置用户在计算节点之间的ssh互信，为了并行作业的运行。 登录节点也安装LSF，配置为LSF静态Client或者MXJ值为0，也即不运行作业的客户端。集群的WEB节点与办公访问局域网一个网段。如需使用浮动client，主节点网卡需要 单纯LSF环境（命令行提交）...
LSF_管理用户、主机和队列_1
IForFree
04-23 2620
LSF_管理用户、主机和队列 修改cshrc.lsf和profile.lsf配置文件使得用户可以使用集群。从集群中添加或者删除主机\队列。 配置cshrc.lsf、profile.lsf配置文件使集群对用户可用 确保lsf users在家目录的.cshrc或.profile配置文件的末尾包含cshrc.lsf或者profile.lsf，或者在使用LSF之前运行这两个文之一。 添加主机到集群 使用安装脚本lsfinstall来添加主机到集群。 从集群中删除主机 从LSF中删除主机包括关闭主机以防止在该主机上
LSF的JOB生命周期
最新发布
05-13
LSF（Load Sharing Facility）是一种常见的作业调度系统，它的JOB生命周期可以分为以下几个阶段： 1. 队列等待：JOB被提交到调度系统后，进入队列等待调度。这个阶段的时间长度取决于调度系统的负载和JOB的优先级等因素。 2. 准备：JOB被选中后，调度系统会为其分配资源（如CPU、内存等），并将JOB的相关信息传递给计算节点。 3. 启动：计算节点收到JOB信息后，启动JOB进程。 4. 运行：JOB进程开始运行，执行预定的任务。 5. 结束：JOB进程执行完毕后，返回运行结果并结束。此时，调度系统会将JOB的状态标记为“完成”。 6. 清理：调度系统会清理JOB的相关资源（如CPU、内存等），并将JOB的状态标记为“清理”。 7. 数据处理：如果JOB的任务是生成数据，那么在JOB结束后，还需要对生成的数据进行处理和存储。 需要注意的是，不同的调度系统可能会有不同的JOB生命周期。但总体来说，JOB的生命周期包括了等待、准备、启动、运行、结束、清理和数据处理等阶段。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王万林 Ben

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值