服务器资源采集

最新推荐文章于 2024-03-05 14:01:25 发布
最新推荐文章于 2024-03-05 14:01:25 发布
阅读量371 收藏
点赞数
文章标签： python 压力测试 linux 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/judahwang/article/details/130985284
版权

cpu使用采集

Linux的CPU使用率信息可以通过 /proc/stat 文件计算得到。/proc/stat 包含了所有CPU活动的信息，该文件中的所有值都是从系统启动开始累计的，单位为jiffies

root@XXXX:/data/home/XXX# cat /proc/stat | grep 'cpu' 
cpu 95437746 32 24265376 7465005603 7796243 1519 4335510 0 0 0 
cpu0 7466498 2 1407025 306335463 590252 109 351612 0 0 0 
cpu1 7273049 0 1705355 306622392 562050 112 342781 0 0 0 
cpu2 6733335 5 1660868 306929985 576424 93 325344 0 0 0 
cpu3 6472024 2 1919518 307244781 557953 98 300159 0 0 0 
cpu4 6668797 0 1546640 307119293 606800 63 260103 0 0 0 c
pu5 6323355 1 1354468 307683672 578870 64 236279 0 0 0 
cpu6 8694518 0 1410405 305271598 420758 55 314002 0 0 0 
cpu7 6148377 1 1264383 308445566 399519 50 200748 0 0 0 
cpu8 5748207 5 1523884 308538765 427474 46 191919 0 0 0 
cpu9 4660666 2 1601920 309513640 431980 46 173813 0 0 0 c
pu10 5462723 1 1364404 309038920 413696 50 194059 0 0 0 
cpu11 5159830 3 1176848 309439377 412922 48 175634 0 0 0 
cpu12 2750928 0 740011 312476124 338191 143 260653 0 0 0 
cpu13 2547955 1 936027 312466557 322650 138 248924 0 0 0 
cpu14 2583720 0 802039 312626559 296125 152 247577 0 0 0 
cpu15 2546840 0 694728 312749117 307404 150 233516 0 0 0 
cpu16 1363146 0 402344 314807967 154086 19 59672 0 0 0 
cpu17 1311191 0 400912 314833885 166464 18 52947 0 0 0 
cpu18 1328266 0 346806 315082676 45472 12 51517 0 0 0 
cpu19 685345 2 570098 315544015 32795 7 23060 0 0 0 
cpu20 692669 0 407326 315695737 38095 9 23443 0 0 0 
cpu21 854437 0 327793 315615426 44156 10 22783 0 0 0 
cpu22 908316 0 379316 315561457 30755 5 21127 0 0 0 
cpu23 1053546 0 322247 315362621 41344 14 23830 0 0 0

cpu一行指的是总的CPU信息，cpu0......cpu23几行指的是CPU各个核的CPU信息。从这里也可以看出这台服务器共有24个核。每列从左到右的意思为：

 ​​​​​​

  • 1、1 jiffies = 0.01s = 10ms
  • 2、常用计算等式：CPU时间 = user + system + nice + idle + iowait + irq + softirq

3、man手册中iowait有单独说明，iowait时间是不可靠值，具体原因如下：
        1）CPU不会等待I/O执行完成，而iowait是等待I/O完成的时间。
当CPU进入idle状态，很可能会调度另一个task执行，所以iowait计算时间偏小；
        2）多核CPU中，iowait的计算并非某一个核，因此计算每一个cpu的iowait非常困难
        3）这个值在某些情况下会减少

根据这些信息，就可以计算出CPU使用率，这里举例子说明整机cpu的使用率：

MEM使用采集

一般我们可以通过free -h来查看当前服务器上内存占用情况：


[root@XXX ~]$ free -h
              total        used        free      shared  buff/cache   available
Mem:           3.7G        880M        133M        2.0G        2.7G        586M
Swap:            0B          0B          0B

Mem：表示物理内存
Swap：表示硬盘交换分区
其中Mem中的total、used、free、shared、buffers、cached表示如下：
total：表示物理内存总量。
used：表示总计分配给缓存（包含buffers 与cache ）使用的数量，但其中可能部分缓存并未实际使用。
free：未被分配的内存。
shared：共享内存。
buffers：系统分配但未被使用的buffers数量。
cached：系统分配但未被使用的cache数量。
buffers/cached中的total、used、free表示如下：
used：实际使用的buffers与cache总量，也是实际使用的内存总量。
free：未被使用的buffers与cache和未被分配的内存之和，这就是系统当前实际可用内存。
available：空闲内存减去系统部不好回收的内存。

Linux内核会把空闲的内存用作buffer/cached，用于提高文件读取性能。当应用程序需要用到内存时，buffer/cached内存是可以马上回收的。所以，对应用程序来说，buffer/cached是可用的，可用内存应该是free+buffers+cached。

如何计算内存占用：

MEM使用量：Mem.total - Mem.free

MEM总大小：Mem.total

应用程序使用内存：    Mem.total - Mem.free - (buffers + cached - shared)

进程占用内存可参考：Linux内存管理 -- /proc/{pid}/smaps讲解_proc smaps_confirmwz的博客-CSDN博客 

网络IO采集

proc/net/dev是提供给用户读取或更改网络适配器及统计信息的途径，可以通过读取该文件查看系统的流量和包量情况。

[root@xxx ~]$ cat /proc/net/dev
Inter-|   Receive                                                |  Transmit
 face |bytes    packets errs drop fifo frame compressed multicast|bytes    packets errs drop fifo colls carrier compressed
veth0b68bbc:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0
vethb5ee3e2: 37530815  261062    0    0    0     0          0         0 19439231  262588    0    0    0     0       0          0
  eth0: 227285994782 613289178    0    0    0     0          0         0 346855514848 522298330    0    0    0     0       0          0
    lo: 52896485274 64401660    0    0    0     0          0         0 52896485274 64401660    0    0    0     0       0          0
br-137050203a59: 567258612 4052142    0    0    0     0          0         0 609467371 3590862    0    0    0     0       0          0
br-91d5dd5f43ec:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0
docker0: 838386402 2023766    0    0    0     0          0         0 505865102 1930936    0    0    0     0       0          0

Receive：接收的量

Transmit：发送的量

上面各个指标说明:

这里以获取eh1的1分钟流量情况为例：

1.     读取/proc/net/dev文件，获取eth1的Receive.bytes、Receive.packets、Transmit.bytes、Transmit.packets，分别记为receive_bytes0、receive_packets0、transmit_bytes0、transmit_packets0

2.     等待60秒

3.     再次读取/proc/net/dev文件，获取eth1的Receive.bytes、Receive.packets、Transmit.bytes、Transmit.packets，分别记为receive_bytes1、receive_packets1、transmit_bytes1、transmit_packets1

4.     根据n秒前后的/proc/net/dev文件的数据，可计算出下面的指标：

60秒内平均每秒入流量：(receive_bytes1 - receive_bytes0) * 8 /60/ 1024 （kbps）

（乘以8是为了把bytes转成bit，除以1024是为了把单位转成k，除以60则是取60秒内的平均值）

1GB=1024MB，1MB=1024KB，1KB=1024B，1B=8bit

60 秒内平均每秒出流量：(transmit_bytes1 - transmit_bytes0) * 8 / 60 / 1024 （kbps）

60秒内平均每秒入包数：(receive_packets1 - receive_packets0) / 60 （个）

60秒内平均每秒出包数：(transmit_packets1 - transmit_packets0) / 60 （个）

备注：网卡最大都是10000Mb/s(ethtool eth1查看)；网卡需要算上行+下行总和，也就是这里的入流量+出流量的总和

磁盘IO采集        

iostat 主要用于输出磁盘IO 和 CPU的统计信息

用法：iostat [选项] [<时间间隔>] [<次数>]

命令参数：

-c： 显示CPU使用情况
-d： 显示磁盘使用情况
-N： 显示磁盘阵列(LVM) 信息
-n： 显示NFS 使用情况
-k： 以 KB 为单位显示
-m： 以 M 为单位显示
-t： 报告每秒向终端读取和写入的字符数和CPU的信息
-V： 显示版本信息
-x： 显示详细信息
-p：[磁盘] 显示磁盘和分区的情况

这里我们就直接 用iostat -x [次数]来获取详细信息

统计方法：每4s统计一次，60s后取uitil的最大值为60s内整机io使用率

GPU-显存

nvidia-smi是用来查看GPU使用情况的

Memory-Usage：使用显存/总显存

GPU-Util：当前gpu利用率

如何计算60s内的显存占用和gpu利用率：

获取当前机器上的子卡数目，根据子卡数目分别获取显存占用和gpu利用率占用信息

 

每1s中获取1次信息，60s后used_mem=max(mem)/total_mem，util=avg(util)

disk-磁盘增长速度

服务一般部署到/data/service目录下，容器也是如此，这里我们致统一改目录下的空间大小

 

 

jardonwang1
关注
java 服务器信息采集,远程采集服务器指标信息（一） 远程通过SSH执行命令
weixin_33438811的博客
03-20 734
远程采集服务器信息，比如说磁盘信息、内存信息。现介绍java通过SSH执行命令采集服务器信息，比如说执行df、ls、top。class="java">/**** SSH远程执行shell类*/public class SSHSession implements IRemoteSession {/** SSH连接 */private Connection conn;private NodeIn...
服务器硬件采集,服务器信息采集以及性能监控
weixin_39858275的博客
07-30 1134
服务器监控是每个互联网厂商都重视并且想要尽可能做好的事情，从数据收集、数据处理、数据可视化最终再到实时监控告警，这一系列复杂的流程可能耗费企业大量的人力和时间，以至于某些时候因为其复杂性高无法达到预期的监控效果。而当事故发生时才发现，由于监控体系的不完善造成了很多不必要的损失，让我们追悔莫及。为了解决企业的此类烦恼，七牛智能日志管理平台推出了快速构建服务器性能监控报警的解决方案。通过七牛智能日志采...
服务器资源采集分析工具nmon
09-06
非常好用的服务器资源自动采集和分析工具，linux等操作系统资源自动采集工具nmon_x86_64_rhel6，nmon analyser v34a.xls
收集服务器配置资源信息
weixin_33904756的博客
07-24 189
收集服务端和数据库层操作系统的配置；方便后期按系统比例配置进行估算 1.cpu资源收集 1)查看cpu型号 cat /etc/issue cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c 2）物理cpu个数 grep "physical id" /proc/cpuinfo | sort |uniq...
Python 运维自动化之服务器信息采集
weixin_34265814的博客
12-09 384
主要是采集服务器的CPU，内存，硬盘，网络等信息。 用到的主要模块psutil还有subprocess，要注意管道问题（subprocess.popen函数的参数注意使用）。 上代码 1 def test2(): 2 fnull = open(os.devnull, 'w') 3 return1 = subprocess.call('ping 127.0....
Linux服务器硬件资源采集脚本
qq790455894的博客
07-06 960
该指标采集脚本使用操作系统 crontab 定时任务每间隔五秒采集一次当前服务器的指标数据
服务器性能采集
shaoyunzhe的专栏
07-16 1072
《深度实践KVM》 一、CPU性能采集 sar -P ALL 2 10 命令含义： 每隔2秒显示采集一次，一共采集10次CPU所有核的性能。其中，ALL可以用任意和核心ID来替换，以 获取这个核的性能信息。输出的最后有一个汇总的平均性能信息。 ·%user： 显示在用户级别应用运行使用CPU总时间的百分比。 · %nice： 显示在用户级别，用于nice操作，所占用CPU总时间的百分...
cj.zip_OK资源网_OK资源采集网_cj_ok资源采集_采集资源网
09-15
【cj.zip】是一个压缩包文件，其名称包含了“OK资源网”、“OK资源采集网”、“cj”、“ok资源采集”以及“采集资源网”等关键词，这些标签暗示了该文件可能与网络资源的采集、分享和管理有关。在描述中提到，“采集...
苹果cms采集插件，萌芽采集插件Pro(集合众多采集资源)
10-27
在这个压缩包中，这个目录很可能包含了萌芽采集插件的主程序文件，用户需要将这些文件上传到对应的服务器目录，以便系统识别和启用插件。 “static”目录通常存储的是静态资源，如CSS样式表、JavaScript脚本和图片...
云服务器资源信息,云服务器资源监控
weixin_28733651的博客
08-10 453
云服务器资源监控 内容精选换一换本节定义了弹性云服务器上报云监控的监控指标的命名空间，监控指标列表，各项监控指标的具体含义与使用说明，用户可以通过云监控检索弹性云服务器服务产生的监控指标和告警信息。SYS.ECS对于不同的操作系统、不同的弹性云服务器类型，支持的监控指标有所差异，具体如表1所示。其中，√表示支持，×表示不支持。对于部分监控指标，需弹性云服务器使用的镜像安公有云平台支持弹性云服务器在...
服务器信息统计列表.xlsx
06-25
服务器信息统计列表,,,,,,,, 品牌,机型,CPU,内存,硬盘,操作系统版本,数据库版本,使用定义,软件授权方式
服务器资源数据结果汇总
aipoqiu2566的博客
03-13 249
转载于:https://www.cnblogs.com/NiceTime/p/8557935.html
计算机及服务器硬件统计表,云平台与传统平台资源交付场景研究
weixin_42297705的博客
07-23 444
李云鹏 乔林 陈硕摘 要：云计算技术是一种新兴的计算模型。云计算主要以廉价X86架构PC服务器为硬件平台，大量使用虚拟化技术、分布式计算技术、分布式存储技术对外提供计算存储服务，满足用户需求。较为主流的云计算技术主要包括虚拟化技术以及分布式计算技术两种，其中虚拟化实现方式包括KVM、XEN、VMWARE等种类，分布式计算的主要框架则包括hadoop、storm、spark、yarn等。关键词：...
Linux shell采集系统资源
qq_25712113的博客
07-18 675
#!/bin/bash ############################################### #监控系统负载与CPU、内存、硬盘，超出警戒值则发告警# ############################################### ######配置###### #FTP的ip FTP_URL_LOAD=192.168.72.130 #FTP的登陆名 FTP...
基于python的高校服务器信息的网络空间资源分类 附完整代码数据可作为毕设课设
02-02 164
基于python的高校服务器信息的网络空间资源分类 附完整代码数据可作为毕设课设
服务器监控信息表,服务器监控统计表
weixin_39915694的博客
08-12 542
服务器监控统计表 内容精选换一换公有云平台提供的云监控，可以对弹性云服务器的运行状态进行日常监控。您可以通过管理控制台，直观地查看弹性云服务器的各项监控指标。由于监控数据的获取与传输会花费一定时间，因此，云监控显示的是当前时间5～10分钟前的弹性云服务器状态。如果您的弹性云服务器刚刚创建完成，请等待5～10分钟后查看监控数据。弹性云服务器正常运行。关机、故障、删除状态的JMeter测试报告提供实时...
LVM（逻辑卷管理）与磁盘配额设置和测试
weixin_48192495的博客
07-19 562
一. LVM 1.1 物理卷，卷组，逻辑卷的概述 物理卷PV 物理卷是 LVM 机制的基本存储设备，通常对应为一个普通分区或整个硬盘。创建物理卷时，会在分区或硬盘的头部创建一个保留区块，用于记录 LVM 的属性，并把存储空间分割成默认大小为 4MB 的基本单元（Physical Extent，PE），从而构成物理卷 语法：pvcreate 设备名1 设备名2 卷组VG 由一个或多个物理卷组成一个整体，即称为卷组，在卷组中可以动态地添加...
图形化的电力通信资源管理系统的查询与统计
u013028452的专栏
12-28 1212
一、分类统计查询： 在VisualNet系统中，其每个“设备”“线路”都能被检索到。你既可以按区域、部门、楼层进行统计，也可以按类型及属性进行统计。譬如统计ADSS或OPGW类的光缆，你可以在查询窗体中给它指定光缆类型后就能全部找到，或者你也可以在统计报表中进行分类统计，也一样能找到这些光缆。另外，如果光缆出现故障，检测系统指示光缆的断点在37公里处，那么你只需在查询窗体中，为杆塔的“距离机房长
数据中心运维管理方案（超详细）
最新发布
xdmstar的专栏
03-05 3773
3.7.3 服务总结运维团队根据自身的工作内容，在每季度需要对自己的工作进行汇总，并生成《季度运维总结》。报告中的具体内容包括：故障处理及备件更换情况汇总；设备状况分析及评价；人员出勤情况，工作量，或资源使用情况，包括第三方供应商服务情况；重大事件和变更情况；配置管理相关信息；趋势信息；下一步工作计划；3.8 运行维护优化评估（1） 建立基于数据中心的基础运维服务管理框架体系及运维团队，根据网络的现状提出整体安全规划，包括日常维护计划、安全风险控制计划、应急响应计划等。
嵌入式视频采集压缩服务器设计：基于WEB的DSP解决方案
"该资源主要讨论了一种基于WEB的嵌入式视频采集压缩瘦身服务器的设计与实现，由欧赛尔电子工作室和西安交通大学信号与信息处理研究所合作完成。报告人是王黎明。系统的核心在于结合了32位微控制器和数字信号处理器...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值