爱算数-CSDN博客

原创 LSF作业调度系统中的资源(四)

由于操作系统之间的虚拟内存行为差异，LIM 报告的空闲内存和 vmstat 报告的空闲内存之间可能存在差异。内存 (mem) mem 索引是对当前可供用户进程使用的物理内存的估计，以 MB 或 lsf.conf 中 LSF_UNIT_FOR_LIMITS 设置的单位计。这代表了可以在不导致主机开始换页的情况下在主机上启动的最大进程的大致大小。临时目录 (tmp) tmp 索引是包含临时目录的文件系统上可用空间的大小，以 MB 或 lsf.conf 中 LSF_UNIT_FOR_LIMITS 设置的单位计。

2024-05-12 19:21:19 610

原创 LSF作业调度系统中的资源(三)

集群管理员必须定义如何计算 ncpus（逻辑CPU数量）。通常，可用作业槽位的数量等于 ncpus 的值；然而，在EGO资源组级别可以重新定义槽位。ncpus 的定义会在整个集群中全局应用。操作步骤打开 lsf.conf 或 ego.conf 文件。UNIX 和 Linux 系统： LSF_CONFDIR/lsf.conf LSF_CONFDIR/ego/cluster_name/kernel/ego.conf。

2024-05-12 14:55:47 964

原创 LSF作业调度系统中的资源（二）

如果作业 2 在主机 B 上运行，我们可能会遇到一种情况，即大型并行作业作业 3 永远没有机会运行，因为两个主机都没有 20 个可用的插槽。的排序，作业 2 将在主机 A 上运行，因为此时主机 A 有最少的可用插槽（10 个可用，而主机 B 有 20 个可用）。的排序，作业 1 将在主机 B 上运行，因为它的总插槽少于主机 A。的逆序排序，假设主机 A 总共有 20 个插槽，但主机 B 只有 10 个插槽，并且目前集群中没有作业运行。作业 1 运行后，主机 A 和主机 B 都有 10 个可用插槽。

2024-05-12 14:09:33 464

原创 LSF作业调度系统中的资源（一）

外部资源用户定义的自定义资源：外部负载索引和 lsf.shared 文件中定义的资源（共享资源）。内置资源始终在LSF中定义的资源，如负载指数、CPU数量或总交换空间。按。

2024-05-12 13:39:54 358

原创 LSF执行前和执行后处理

您可以使用执行前和执行后处理在批处理作业开始之前或完成之后运行命令。此功能的典型用途包括：保留无法在 LSF 中直接配置的资源，例如磁带驱动器和其他设备除 LSF 直接支持的动作外，还做出作业启动决策创建和删除作业的临时目录根据预执行命令的退出码自定义调度检查软件许可证的可用性分配作业在 SMP 计算机上的特定处理器上运行传输作业执行所需的数据文件在作业执行前后修改系统配置文件使用执行后命令清除执行前命令或作业留下的状态任何可执行命令行都可以作为执行前或执行后命令。

2024-04-11 11:41:44 715

原创 LSF作业提交和执行控制

作业提交和执行控制功能使用可执行文件和来控制作业选项和作业执行环境。此外，可执行文件可以使用作业提交信息（例如作业 ID 和队列名称）与外部组件进行通信，并在作业提交后执行其他逻辑。外部提交 (esub)esub是您为满足站点工作要求而编写的可执行文件执行的一些操作：验证作业选项更改用户指定的作业选项更改提交主机上的用户环境变量（仅在作业提交时）拒绝作业（仅在作业提交时）将数据传递到的stdin自动化作业资源需求启用数据来源来跟踪作业文件当用户使用。

2024-04-11 11:28:46 942

原创 NDCAS集群大数据采集分析软件(六)

本文中对NDCAS如何监控vmware做了简单介绍，NDCAS可以获取vmware中的存储、物理机、虚拟机的总数量，总体状态及各项具体指标的详细信息，包括CPU，内存，IO，网络，版本，电源，快照等。通过以上获得物理机的CPU使用率，内存使用率，网络流量，磁盘读写这些负载信息，可以让我们能够更均衡的分配其上的虚拟机数量及每台虚拟机的配置。上图中可以看到所有的物理机都在开机状态，虚拟机有87%处于开机状态。上述列表展现了每台物理机的资源配置，版本，硬件等信息，通过排序，搜索可以快速找到你关心的资源。

2024-04-11 11:11:20 457

原创 NDCAS集群大数据采集分析软件(五)

在提高集群利用率的各种手段中，提高license利用率是降低成本提高投入产出的最有效方式。那么你采购的license的feather种类和数量是否合适？所以对应用软件许可的监控，提高应用软件许可利用率是至关重要的！关注爱算数公众号，获取HPC/AI/大数据技术资料，分享集群运维最佳实践，获取你的专属集群定制化监控报表，快来吧～一种应用软件许可会包含很多Feather, 根据用户使用的软件功能模块，会占用不同数量的Feather。当然可以在列表中查看许可所有feather的使用数量，总数，剩余数量。

2024-04-09 22:20:05 396

原创 IBM Spectrum LSF Suites 介绍

LSF异构、高扩展性和可用架构可为传统的高性能计算和高吞吐量工作负载提供支持，也适用于大数据、认知、GPU 机器学习和容器化工作负载。借助更多访问 HPC 资源的方式提高用户生产力，包括用于作业监视和通知的移动设备客户端，以及用于 Windows 环境的集成式桌面客户端。自动检测和配置 NVIDIA GPU 以简化 GPU 服务器的管理，并充分利用 NVIDIA GPU 的行为监视、运行状况和诊断以及会计和进程统计信息。通过将增强的用户接口与政策和自动化相结合，创造更出色的成果。

2024-04-09 21:52:56 207

原创 NDCAS集群大数据采集分析软件(四)

对于高性能集群系统负载状态的监控，很多软件都可以做到：包括开源的，商业的，专门做监控的产品还是一些管理软件附带的监控功能。NDCAS是众多监控软件中能把作业调度系统监控做好的，为数不多的，优秀的监控软件了。每条作业的作业id，作业名称，用户，提交时间，运行时间，执行主机，运行核数，队列，应用软件等都可以详细查看，并支持排序和导出excel。列表可展示每台计算主机的总核数，已调度核数，剩余可用核数，负载，CPU利用率，磁盘剩余空间，内存剩余空间，负载偏差，在调度系统中的状态等。总体多少核在运行，多少核空闲？

2024-03-27 13:58:59 727

weixin_50642377的博客