远程监控每台机器的显卡状态和磁盘使用率

已于 2024-08-26 15:52:24 修改
阅读量510 收藏 5
点赞数 9
文章标签： linux 运维
于 2024-08-26 15:51:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_65196233/article/details/141566018
版权

这个脚本的主要功能是远程监控一组服务器上的显卡状态和磁盘使用率。它通过 SSH 连接到每台服务器，检查显卡的数量和利用率，以及根目录 (`/`) 和 `/data` 盘的磁盘使用率。以下是脚本的详细总结：

### 脚本功能

1. **获取用户密码**:
   - 使用 `read -sp` 提示用户输入密码，并隐藏输入内容。密码用于 SSH 远程连接。

2. **定义服务器列表**:
   - 定义一个服务器列表 `SERVERS`，包含需要监控的服务器 IP 地址。

3. **定义常量**:
   - `TIMEOUT`: 设置 SSH 连接和命令执行的超时时间为 5 秒。
   - `EXPECTED_GPU_COUNT`: 预期的显卡数量（设置为 2）。
   - `DISK_THRESHOLD`: 设置磁盘使用率的报警阈值为 95%。

4. **循环遍历每个服务器**:
   - 对于每个服务器，执行以下检查：

   - **显卡状态检查**:
     - 使用 `sshpass` 和 `ssh` 通过 SSH 连接到服务器，运行 `nvidia-smi` 命令以获取显卡信息。
     - 检查显卡数量是否低于预期数量 `EXPECTED_GPU_COUNT`。
     - 如果显卡数量正常，则继续获取 GPU 利用率和 GPU 进程列表：
       - 获取 GPU 利用率：通过 `nvidia-smi` 查询 GPU 利用率 (`utilization.gpu`)。
       - 获取 GPU 进程列表：通过 `nvidia-smi` 查询当前在 GPU 上运行的进程列表（包括 GPU UUID、PID、进程名称和使用的内存量）。
     - 如果无法获取显卡信息或利用率，打印相应的警告信息。

   - **磁盘使用率检查**:
     - 使用 `df -h` 命令检查服务器的根目录 (`/`) 和 `/data` 盘的磁盘使用率。
     - 解析 `df` 输出，提取根目录和 `/data` 盘的使用率（百分比）。
     - 如果使用率超过设定的阈值 `DISK_THRESHOLD`，则打印警告信息。
     - 如果无法获取磁盘使用率，打印相应的警告信息。

5. **输出和日志**:
   - 每次检测完一台服务器后，输出相应的检测结果和警告信息。
   - 每个检测模块后面都会有 "**********************************************************************************" 行，以便区分不同服务器和不同检测模块的输出。

6. **等待**:
   - 在每次检测完一台服务器后，使用 `sleep 2` 命令等待 2 秒，防止脚本运行过快。

#!/bin/bash

# 提示用户输入密码，使用 -s 选项隐藏输入
read -sp "Enter Password: " PASSWORD
echo

# 远程服务器列表
SERVERS=(
    "10.1.1.1"
    "10.1.1.2"
    *
    *
    *
)

# 超时时间（秒）
TIMEOUT=5
# 预期的显卡数量
EXPECTED_GPU_COUNT=2
# 设置阈值百分比
DISK_THRESHOLD=95

for SERVER in "${SERVERS[@]}"; do
   
    echo "正在检测服务器 $SERVER 的显卡状态..."
     # 使用 sshpass 进行 SSH 连接并执行命令
    GPU_INFO=$(sshpass -p "$PASSWORD" ssh -o StrictHostKeyChecking=no -o ConnectTimeout=$TIMEOUT $SERVER "timeout $TIMEOUT nvidia-smi --query-gpu=name --format=csv,noheader 2>/dev/null")

    # 检查 SSH 或 nvidia-smi 命令是否成功
    if [ $? -ne 0 ] || [ -z "$GPU_INFO" ]; then
        echo "告警：无法检测服务器 $SERVER 的显卡状态，可能密码错误，nvidia-smi 命令超时、失败或显卡驱动未安装。"
	echo "**********************************************************************************"
    else
        GPU_COUNT=$(echo "$GPU_INFO" | wc -l)
        if [ "$GPU_COUNT" -lt "$EXPECTED_GPU_COUNT" ]; then
            echo "告警：服务器 $SERVER 上检测到的显卡数量不足。当前检测到的显卡数量为 $GPU_COUNT，预期为 $EXPECTED_GPU_COUNT。"
	    echo "**********************************************************************************"
        else
            echo "服务器 $SERVER 上的显卡数量正常，检测到的显卡数量为 $GPU_COUNT。"
	    echo "**********************************************************************************"
            # 获取一次 GPU 利用率
            echo "获取服务器 $SERVER 的 GPU 利用率..."
            GPU_UTILIZATION=$(sshpass -p "$PASSWORD" ssh -o StrictHostKeyChecking=no -o ConnectTimeout=$TIMEOUT $SERVER "nvidia-smi --query-gpu=index,name,utilization.gpu --format=csv,noheader,nounits 2>/dev/null")
            
            if [ $? -eq 0 ] && [ -n "$GPU_UTILIZATION" ]; then
                echo "服务器 $SERVER 的 GPU 利用率："
                echo "$GPU_UTILIZATION"
#		sleep 1
            else
                echo "告警：无法获取服务器 $SERVER 的 GPU 利用率。"
	        echo "**********************************************************************************"
	    fi
	    echo "获取服务器 $SERVER 的 GPU 进程列表..."
            GPU_PROCESSES=$(sshpass -p "$PASSWORD" ssh -o StrictHostKeyChecking=no -o ConnectTimeout=$TIMEOUT $SERVER "nvidia-smi --query-compute-apps=gpu_uuid,pid,process_name,used_memory --format=csv,noheader 2>/dev/null")

            if [ $? -eq 0 ] && [ -n "$GPU_PROCESSES" ]; then
                echo "服务器 $SERVER 的 GPU 进程列表："
                echo "$GPU_PROCESSES"
	        echo "**********************************************************************************"
		sleep 1
            else
                echo "告警：获取服务器 $SERVER 的 GPU 进程列表为空或有问题。"
	        echo "**********************************************************************************"
		sleep 1
            fi
        fi
    fi

# 检查每台服务器的根目录和/data盘的磁盘使用率
    echo "检查服务器 $SERVER 的磁盘使用率..."

    # 获取根目录和/data盘的使用率
    DISK_USAGE=$(sshpass -p "$PASSWORD" ssh -o StrictHostKeyChecking=no -o ConnectTimeout=$TIMEOUT $SERVER "df -h / /data 2>/dev/null")

    #echo "$DISK_USAGE" # 调试信息，检查实际输出内容

    ROOT_USAGE=$(echo "$DISK_USAGE" | awk '/\/$/ {print $5}' | sed 's/%//')
    DATA_USAGE=$(echo "$DISK_USAGE" | awk '/\/data$/ {print $5}' | sed 's/%//')

    #echo "根目录使用率: $ROOT_USAGE%" # 调试信息
    #echo "/data 使用率: $DATA_USAGE%"   # 调试信息

    # 检查根目录使用率是否超过阈值
    if [ -n "$ROOT_USAGE" ] && [[ "$ROOT_USAGE" =~ ^[0-9]+$ ]] && [ "$ROOT_USAGE" -ge "$DISK_THRESHOLD" ]; then
        echo "告警：服务器 $SERVER 的根目录 (/) 使用率已达到 ${ROOT_USAGE}%!"
    elif [ -z "$ROOT_USAGE" ]; then
        echo "告警：无法获取服务器 $SERVER 的根目录 (/) 使用率。"
    fi

    # 检查/data盘使用率是否超过阈值
    if [ -n "$DATA_USAGE" ] && [[ "$DATA_USAGE" =~ ^[0-9]+$ ]] && [ "$DATA_USAGE" -ge "$DISK_THRESHOLD" ]; then
        echo "告警：服务器 $SERVER 的 /data 盘使用率已达到 ${DATA_USAGE}%!"
    elif [ -z "$DATA_USAGE" ]; then
        echo "告警：无法获取服务器 $SERVER 的 /data 盘使用率。"
    fi
      echo "**********************************************************************************"
      sleep 2
done

加上了并行处理，优化查询时间，但未加查询盘使用率

#!/bin/bash

# 提示用户输入密码，使用 -s 选项隐藏输入
read -sp "Enter Password: " PASSWORD
echo

# 远程服务器列表
SERVERS=(
    "10.1.1.1"



   
)

# 超时时间（秒）
TIMEOUT=5
# 预期的显卡数量
EXPECTED_GPU_COUNT=2

# 创建临时目录来存储输出文件
OUTPUT_DIR=$(mktemp -d)
# 定义函数用于检测 GPU 信息
check_gpu() {
    local SERVER=$1
    local OUTPUT_FILE="${OUTPUT_DIR}/${SERVER}.out"

    {
        echo "正在检测服务器 $SERVER 的显卡状态..."

        # 使用 sshpass 进行 SSH 连接并执行命令
        GPU_INFO=$(sshpass -p "$PASSWORD" ssh -o StrictHostKeyChecking=no -o ConnectTimeout=$TIMEOUT $SERVER "timeout $TIMEOUT nvidia-smi --query-gpu=name --format=csv,noheader 2>/dev/null")

        # 检查 SSH 或 nvidia-smi 命令是否成功
        if [ $? -ne 0 ] || [ -z "$GPU_INFO" ]; then
            echo "告警：无法检测服务器 $SERVER 的显卡状态，可能密码错误，nvidia-smi 命令超时、失败或显卡驱动未安装。"
        else
            GPU_COUNT=$(echo "$GPU_INFO" | wc -l)
            if [ "$GPU_COUNT" -lt "$EXPECTED_GPU_COUNT" ]; then
                echo "告警：服务器 $SERVER 上检测到的显卡数量不足。当前检测到的显卡数量为 $GPU_COUNT，预期为 $EXPECTED_GPU_COUNT。"
            else
                echo "服务器 $SERVER 上的显卡数量正常，检测到的显卡数量为 $GPU_COUNT。"
                # 获取一次 GPU 利用率
                echo "获取服务器 $SERVER 的 GPU 利用率..."
               # GPU_UTILIZATION=$(sshpass -p "$PASSWORD" ssh -o StrictHostKeyChecking=no -o ConnectTimeout=$TIMEOUT $SERVER "nvidia-smi --query-gpu=index,name,utilization.gpu --format=csv,noheader,nounits 2>/dev/null")
                GPU_UTILIZATION=$(sshpass -p "$PASSWORD" ssh -o StrictHostKeyChecking=no -o ConnectTimeout=$TIMEOUT $SERVER "nvidia-smi --query-gpu=name,utilization.gpu --format=csv,noheader,nounits && nvidia-smi --query-compute-apps=gpu_uuid,pid,process_name,used_memory --format=csv,noheader 2>/dev/null")
                
                if [ $? -eq 0 ] && [ -n "$GPU_UTILIZATION" ]; then
                    echo "服务器 $SERVER 的 GPU 利用率："
                    echo "$GPU_UTILIZATION"
                else
                    echo "告警：无法获取服务器 $SERVER 的 GPU 利用率。"
                fi
            fi
        fi
        echo "**********************************************************************************"
    } > "$OUTPUT_FILE" 2>&1
}

# 导出函数和变量以便 xargs 使用
export -f check_gpu
export PASSWORD
export TIMEOUT
export EXPECTED_GPU_COUNT
export OUTPUT_DIR

# 并行执行 GPU 检测
printf "%s\n" "${SERVERS[@]}" | xargs -I {} -P 30 bash -c 'check_gpu "$@"' _ {}
#printf "%s\n" "${SERVERS[@]}" | parallel -j 20 --no-notice bash -c 'check_gpu "$@"' _ {}
# 读取并输出所有结果
for SERVER in "${SERVERS[@]}"; do
    cat "${OUTPUT_DIR}/${SERVER}.out"
done

# 清理临时目录
rm -rf "$OUTPUT_DIR"

总结

该脚本是一个简单而有效的服务器监控工具，可以帮助管理员实时了解服务器显卡的状态和磁盘使用情况，及时发现并解决潜在的问题。通过定期运行该脚本，可以有效地管理服务器资源，保持系统稳定运行。

爱玩的小运维
关注
  • 9
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PVE虚拟机运行不流畅，出现卡顿。
**My Coding Family**
07-24 575
🏆本文收录于《CSDN问答解惑-专业版》专栏，主要记录项目实战过程中的Bug之前因后果及提供真实有效的解决方案，希望能够助你一臂之力，帮你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！
2024年Unity 面试题 |五萬字 二佰道| Unity面试题大全，面试题总结【全网最全，收藏一篇足够面试】
热门推荐
努力前行，总会成为自己心中的那道光
02-23 11万+
正所谓 金三银四 ，又到了找工作的大好时机了，不知道大家有没有意向找一份更好的工作呢~ 之前写了很多Unity的学习和实例文章，但是面试题部分还没有一个系统的整理。 那本篇文章就来整理一下Unity中一些常见的面试题，说不准就会面试的时候就会遇到！ 本篇文章会将Unity所有方面的面试资料都融会贯通，绝对是2022年Unity面试领域最实用的文章啦！
Zabbix监控windows server 2012 内存、cpu、硬盘使用率
weixin_45467975的博客
07-22 3318
1.点击配置---主机---点击监控项---创建监控项键值system.cpu.util[,,]1.点击配置主机---监控项---创建监控项键值vfs.fs.size[e,free]点击主机---选择需要监控的主机----点击图形---添加图形。3.选择配置---主机---点击需要监控主机的触发器---创建触发器。1.在使用的模板中添加监控项.模板---监控项---创建监控项。配置---主机---点击触发器---创建触发器。2.点击配置---主机---触发器。...
Linux下面监控GPU状态与查看文件夹大小
qq_35091353的博客
12-22 958
显卡是由 GPU 计算单元和显存等组成。 显存用于存放模型、数据，显存越大，所能运行的网络也就越大 GPU 计算单元类似于 CPU 中的核，用来进行数值计算。衡量计算量的单位是 flop： the number of floating-point multiplication-adds，浮点数先乘后加算一个 flop。计算能力越强大，速度越快。衡量计算能力的单位是 flops： 每秒能执行的 flop 数量 1*2+3 1 flop 1*2 + 3*4 + 4*5 3 flop 1、监控GPU状态的几
服务器CPU使用率高的原因分析与解决办法
weixin_30737363的博客
08-29 1996
我们的服务器在使用操作系统的时候，用着用着系统就变慢了，打开“ 任务管理器 ”一看,才发现CPU使用率达到80%以上。这是怎么回事情呢？遇到病毒了吗？硬件有问题？还是系统设置有问题呢？在本文中将从硬件，系统进程，应用软件和病毒木马四个方面来介绍CPU资源使用率为什么会达到那么高，以帮助大家排除服务器CPU使用率高的种种疑惑。 一、硬件因素 以下分别从CPU温度，CPU超线程，硬件配置，硬件驱动...
用于监视CPU、RAM和GPU使用情况的4个最佳命令行工具
pandamax的博客
08-16 5522
如果你现在真的想做任何数据驱动的事情，一台强大的个人电脑是必备的。数据科学往往需要RAM，强化学习很消耗CPU，深度学习很消耗GPU。 当你处理那些资源匮乏的应用程序时，重要的是要知道你的电脑是否在有效地被使用。 你的算法在CPU上是瓶颈吗？它能使用更多的内核吗？ 你是否有足够的RAM，或者你的内存使用是否溢出到交换中（磁盘内存，非常慢）？ 你的CPU或GPU运行过热了吗？Intel CPU和N...
智慧城管监控指挥中心建设
找方案
09-12 2707
1.1监控指挥中心建设 1.1.1监控指挥中心概述 监控指挥中心主要负责把智慧城管中的案件采集上报、案件受理、案件核实、案件立案、案件派遣、案件核查、案件结案、综合评价等城管主流程工作串联起来，是智慧城管的核心环节。 图4‑1监控指挥中心效果示例 监控指挥中心的硬件平台建设部分主要由呼叫中心坐席系统、监控指挥大屏幕、视频监控等组成。 呼叫中心坐席系统提供了12319、12...
go读取Linux下cpu占用率、cpu温度、内存占用率及磁盘占用率
08-27
在Go语言中，读取Linux系统的CPU占用率、CPU温度、内存占用率以及磁盘占用率涉及到了系统监控和性能分析。以下将详细介绍如何利用Go实现这些功能。 1. **CPU占用率** CPU占用率是指CPU在单位时间内用于执行用户...
iSee视频监控 v5.2
02-20
可进行远程监控，远程控制云镜、色彩、手动录像、布撤防、重启计算机等控制工作。 支持现今最大容量的硬盘，并支持安装多个大容量的硬盘。 硬盘管理可以通过对最大使用硬盘和硬盘最小预留空间的设置使硬盘能够...
剑三服务器全部在维护,剑三服务器开服监控
weixin_36308543的博客
08-11 1164
剑三服务器开服监控 内容精选换一换本节介绍查看云手机服务器、云手机、磁盘、GPU卡的使用情况。登录管理控制台。在管理控制台左上角，选择待查看监控指标的区域。在服务列表页，选择“管理与部署 > 云监控服务”。单击左侧导航栏的“云服务监控 > 云手机”。选择一台云手机服务器，单击操作列的“查看监控指标”，查看云手机服务器的监控指标详情。返回云手机服务器列表，单击图标，展开云手当您发现云服务...
Linux 线程的控制 互斥与同步
qq_63145217的博客
08-23 910
include //头文件sem_t sem;信号量的类型 信号量的变量。
【嵌入式】总结&参考——Linux下的裸机驱动开发
m0_74349248的博客
08-22 1050
使用make其实就是为了简化操作，有些麻烦的操作流程能省就省，比如烧录这一操作，视频教程里总是会在命令行里输入./imxdownload xxx.bin /dev/sdx，这样做就显得很麻烦，因为自己开发过程中，挂载到设备树上的sd设备往往是同一个，序号不会变。于是可以自己定义一个规则，专门用于烧录,每次需要烧录时，直接make download。如果觉得还是太长，可以把规则名改短一点download:这次学习，除了“由简入深，方能深入浅出”以外。
在Linux上构建Windows应用程序：深入探索跨平台开发的实践与挑战
w651428055的博客
08-21 1092
在Linux上构建Windows应用程序，不仅拓宽了开发者的技能范围，也为软件产品的多平台部署提供了灵活性和成本效益。虽然这一过程面临挑战，但通过合理选择工具、框架和策略，可以有效地克服这些障碍。随着技术的不断进步，跨平台开发将变得更加成熟和便捷，为软件开发带来更多的可能性和机遇。未来，随着更多高效工具和框架的出现，跨平台开发的效率和质量有望进一步提升，为软件工程领域注入新的活力。
linux定期统计某个目录内每天的文件增量大小
mengbing1990的博客
08-21 196
每天统计一次前一天的日志量大小，并将每个目录的大小记录一份日志。 本测试脚本下，所有目录产生的日志均有固定格式，如每个目录不一样的话，需定义find语句中的name变量。
【Linux】生产消费模型实践 --- 基于信号量的环形队列
JLX_1的博客
08-21 744
本文实践了生产消费模型，通过基于信号量的环形队列来模拟生产消费的过程！讲解了信号量的相关基础知识！
Linux中信号量相关接口及环形队列
2301_77479435的博客
08-22 326
Linux中信号量相关接口及环形队列
Linux之RabbitMQ集群部署
m0_54563444的博客
08-21 1399
消息中间件也可以称消息队列，是利用高效可靠的消息传递机制进行异步的数据传输并基于数据通信来进行分布式系统的集成。当下主流的消息中间件有等。Kafka是LinkedIn开源的分布式发布-订阅消息系统，目前归属于Apache顶级项目。Kafka主要特点是追求高吞吐量(单机可达到10万级)时效性是毫秒级的，一开始的目的就是用于日志收集和传输。对消息的重复、丢失、错误没有严格要求，适合产生大量数据的互联网服务的数据收集业务。
Linux 实用运维sh脚本分享
08-22 276
【代码】Linux 实用运维sh脚本分享。
Linuxctags——R的使用
最新发布
m0_71703182的博客
08-23 381
按下。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值