Python自动化运维 系统基础信息模块

1.系统信息的收集

        系统信息的收集，对于服务质量的把控，服务的监控等来说是非常重要的组成部分，甚至是核心的基础支撑部分。我们可以通过大量的核心指标数据，结合对应的检测体系，快速的发现异常现象的苗头，进行可控的措施。

        我们的运维就像是医生，如果我们在诊断之前对病人的信息以及症状都不了解的话，如何对症下药。

基础信息之psutil模块

要在Linux中下载和安装psutil库，可以按照以下步骤进行操作：

1. 打开终端。
2. 使用以下命令安装pip（如果已经安装了pip，请跳过此步骤）：
   • 对于Debian/Ubuntu系统：sudo apt-get install python3-pip
   • 对于CentOS/RHEL系统：sudo yum install python3-pip
3. 使用以下命令安装psutil库：
   • 对于Python 2.x：sudo pip install psutil
   • 对于Python 3.x：sudo pip3 install psutil

现在，您已经成功在Linux中安装了psutil库。您可以在Python脚本中导入它并开始使用它。例如：

psutil是一个跨平台库，我们主要去用它来获取两部分信息

        进程信息：

        系统利用率 - cpu、内存、磁盘、网络等。

它实现了提供同等命令行的一些相关功能，比如：ps、top、lsof、netstat、ifconfig、who、df、kill、free、nice、ionice、iostat、iotop、uptime、pidof、tty、taskset、pmap （感兴趣的可以去百度一下这些命令的具体作用以及原理，学到就是赚到）

通常我们获取操作系统信息往往采用编写shell来实现，如获取当前物理内存总大小以及使用大小、shell命令如下

物理内存total值： free -m | grep  Mem | awk '{print $2}'

物理内存used值：free -m | grep  Mem | awk '{print $3}'

这样长长的一段shell  往往我们编写起来会很麻烦 容易出错  同时也不容易记忆

相较而言使用psutil库实现则更加简单明了

安装完成之后我们就可以在python文件中使用啦

 当然也可以在终端中去使用

 psutil模块已经封装了这些方法，根据需要调用就可以

（1） CPU信息

User Time，执行用户进程时间的百分比

System Time，执行内核进程和中断的时间百分比

WaitIO，由于IO等待而使CPU处于idle（空闲）状态的时间百分比

idle，CPU处于idle状态的时间百分比

import psutil
psutil.cpu_times()  # 使用cpu_time方法获取cpu完整信息,需要现实所有逻辑CPU信息
# 指定方法变量 percpu=True即可，如psutil.cpu_times(percpu=True)
print(psutil.cpu_times())
psutil.cpu_times().user
print(psutil.cpu_times().user)
psutil.cpu_count()  # 获取CPU的逻辑个数，默认logical=True4
print(psutil.cpu_count())
psutil.cpu_count(logical=False)  # 获取CPU的物理个数
print(psutil.cpu_count(logical=False) )

我们使用Python的psutil.cpu_times()方法可以非常简单的得到这些信息，同时也可以获取CPU的硬件相关的信息，比如CPU的物理个数与逻辑个数

（ 2）内存信息

linux系统的内存利用率信息涉及total(内存总数)、used(已使用的内存数)、free(空闲的内存数)、buffers(缓冲使用数)、cache(缓存使用数)、swap(交换分区使用数)，分别使用psutil.virtual_memory()与psutil.swap_memory()方法获取这些信息

import psutil
mem = psutil.virtual_memory() # 使用psutil.virtual_memory方法获取内存完整信息
print(mem)

mem.total  # 获取内存总数
print(mem.total)
mem.free # 获取空闲内存数
print(mem.free)

psutil.swap_memory()  # 获取swap分区信息
print(psutil.swap_memory())

（3）磁盘信息 

在系统的所有磁盘信息中，磁盘刘勇率使用psutil.disk_usage方法获取。磁盘io信息包括read_count(读io数)、write_count(写io数)、read_bytes(io读字节数)、warite_bytes（IO写字节数）、read_time（磁盘读时间）、write_time(磁盘写时间)。这些io信息可以使用psutil.disk_io_counters（）获取

import psutil
psutil.disk_partitions()  # 使用psutil.disk_partitions方法获取磁盘完整信息
print(psutil.disk_partitions())

psutil.disk_usage('/')   # 使用psutil.disk_usage方法获取分区参数的使用情况
print(psutil.disk_usage('/')) 

 （4）网络信息

系统的网络信息和磁盘IO信息类似，涉及到几个关键点，包括bytes_sent（发送字节数）、bytes_recv（接受字节数）、packets_sent=200987（发送数据包数）、packets_recv（接受数据包数）等。这些信息都可以使用psutil.net_io_counters()获取

import psutil
psutil.net_io_counters() # 使用psutil.net_io_counters()获取网络总的IO信息，默认pernic = False
print(psutil.net_io_counters())

psutil.net_io_counters(pernic = True) # 输出每个网络接口的IO信息
print(psutil.net_io_counters(pernic = True))

（5）其他系统信息

除了上面介绍的几个获取系统基本信息的方法，psutil模块还支持获取用户登录，开机时间等信息

import psutil,datetime
psutil.users()  # 使用psutil.users方法返回当前登录系统的用户信息
print(psutil.users())
psutil.boot_time()   # 获取开机时间，以linux时间戳格式返回
print(psutil.boot_time())
# 使用psutil.boot_time方式获取开机时间，以Linux时间戳格式返回
datetime.datetime.fromtimestamp(psutil.boot_time()).strftime("%Y-%m-%d%H:%M:%S")
print(datetime.datetime.fromtimestamp(psutil.boot_time()).strftime("%Y-%m-%d%H:%M:%S"))

2.系统进程管理方法

（1）进程信息

获得当前系统的进程信息，可以让运维人员得知应用程序的运行状态，包括进程的启动时间、查看或者设置CPU亲和度、内存使用率、IO信息、socket链接、线程数等、这些信息可以呈现出指定进程是否存活、资源利用情况、问题定位提供很好的数据参考

import psutil
psutil.pids()   # 列出所有进程
p = psutil.Process(2424)  # 实例化一个Process对象，参考为一进程PID
p.name('java') # 进程名
p.exe('/usr/bin/java') # 进程bin路径
p.cwd('/usr/local/hadoop-1') # 进程工作目录绝对路径
p.status('sleeping')   # 进程状态
p.create_time()
p.uids()  # 进程信息
p.gids()   # 进程gid信息 
p.cpu_times()  # 进程CPU时间信息，包括user、system两个cpu时间
p.cpu_affinity()  # get进程CPU亲和度，如要设置进程CPU亲和度，将CPU号作为参数即可
p.memory_percent()  # 进程内存利用率
p.memory_info()    # 进程内存rss、vms信息
p.io_counters()  # 进程io信息，包括读写io数及字节数
p.connections()   # 返回打开进程socket的namedutples列表,包括fs、family、ladder等信息
p.num_threads()   # 进程开启的线程数

(2)popen类的使用

psutil提供的popen类的作用是获取用户启动的应用程序的进程信息，以便跟踪进程的运行状态

import psutil
from subprocess import PIPE
# 通过psutil的Popen方法启动应用程序，可以根据该程序运行的所有相关信息
p = psutil.Popen(["/usr/bin/python","-c","print('hello')"],stdout = PIPE)
p.name()
p.username()
p.communicate()
p.cpu_times()   # 得到进程运行的CPU时间