一、系统调优概述
- 系统的运行状况: CPU -> MEM -> DISK*-> NETWORK -> 应用程序调优
- 分析是否有瓶颈(依据当前应用需求)
- 调优(把错误的调正确)
性能优化就是找到系统处理中的瓶颈以及去除这些的过程。
性能优化其实是对OS 各子系统达到一种平衡的定义,这些子系统包括:
- CPU
- Memory
- IO
- Network
这些子系统之间关系是相互彼此依赖的,任何一个高负载都会导致其他子系统出现问题。
比如:
- 大量的网页调入请求导致内存队列的拥塞;
- 网卡的大吞吐量可能导致更多的 CPU 开销;
- 大量的 CPU 开销又会尝试更多的内存使用请求;
- 大量来自内存的磁盘写请求可能导致更多的 CPU 以及 IO 问题;
所以要对一个系统进行优化,查找瓶颈来自哪个方面是关键,虽然看似是某一个子系统出现问题,其实有;
- 可能是别的子系统导致的。
- 调优就像医生看病,因此需要你对服务器所有地方都了解清楚。
当系统出了问题,运行卡,如何快速找出以下进程:
- 找出系统中使用CPU最多的进程?
- 找出系统中使用内存最多的进程?
- 找出系统中对磁盘读写最多的进程?
- 找出系统中使用网络最多的进程?
二、查看CPU负载相关工具,找出系统中使用CPU最多的进程
1、查看CPU负载相关工具
实战1:找出系统中使用CPU最多的进程?
uptime命令:
[root@localhost ~]# uptime
13:22:30 up 8 min, 1 users, load average: 0.14, 0.38, 0.25
其内容如下:
12:38:33 | 当前时间 |
up 50days | 系统运行时间 ,说明此服务器连续运行50天了 |
1 user | 当前登录用户数 |
load average: 0.06, 0.60, 0.48 | 系统负载,即任务队列的平均长度。 三个数值分别为 1分钟、5分钟、15分钟前到现在的平均值。 |
例1:找出前当系统中,CPU负载过高的服务器?
服务器1: load average: 0.15, 0.08, 0.01 1核
服务器2: load average: 4.15, 6.08, 6.01 1核
服务器3: load average: 10.15, 10.08, 10.01 4核
答案:服务器2
如果服务器的CPU为1核心,则load average中的数字 >=3 负载过高,如果服务器的CPU为4核心,则load average中的数字 >=12 负载过高。
经验:单核心,1分钟的系统平均负载不要超过3,就可以,这是个经验值。
任务队列的平均长度是什么?
大厅排除买票:
队列数为3时,如图:
2.找出系统中使用CPU最多的进程?
方法1:使用top命令
运行top , 找出使用CPU最多的进程 ,按大写的P,可以按CPU使用率来排序显示
3.按照实际使用CPU,从大到小排序显示所有进程列表
[root@stu003 ~]# ps -aux --sort -pcpu | more #按cpu降序排序
查看
注: -pcpu 可以显示出进程绝对的路径,方便找出木马程序运行的路径。
查看 -pcpu 帮助:
[root@xuegod63 ~]# man ps #然后搜索 pcpu ,找到下面内容
pcpu cpu utilization # cpu利用率
utilization[英][ˌju:təlaɪ'zeɪʃn] #利用
查看CPU信息:
[root@xuegod63 ~]# cat /proc/cpuinfo processor : 0 vendor_id : GenuineIntel cpu family : 6 model : 42 model name : Intel(R) Core(TM) i7-2670QM CPU @ 2.20GHz stepping : 7 cpu MHz : 2195.039 cache size : 6144 KB physical id : 0 siblings : 4 core id : 0 cpu cores : 4 apicid : 0 initial apicid : 0 fpu : yes fpu_exception : yes cpuid level : 13 wp : yes flags : fpu vme de pse tsc msr pae mce cx8 apic mtrr pge mca cmov pat pse36 clflush dts mmx fxsr sse sse2 ss ht syscall nx rdtscp
lm constant_tsc arch_perfmon pebs bts xtopology tsc_reliable nonstop_tsc aperfmperf unfair_spinlock pni pclmulqdq ssse3 cx16 sse4_1
sse4_2 x2apic popcnt aes xsave avx hypervisor lahf_lm ida arat epb xsaveopt pln pts dts bogomips : 4390.07 clflush size : 64 cache_alignment : 64 address sizes : 40 bits physical, 48 bits virtual power management: processor : 1 。。。 processor : 2 。。。 processor : 3 #说明本机器支持4个CPU
扩展:ps 中 VIRT、RES和SHR的含意:
VIRT:virtual memory usage 虚拟内存
- 进程“需要的”虚拟内存大小,包括进程使用的库、代码、数据等;
- 假如进程申请100m的内存,但实际只使用了10m,那么它会增长100m,而不是实际的使用量。
RES:resident memory usage 常驻内存
- 进程当前使用的内存大小,但不包括swap out;
- 包含其他进程的共享;
- 如果申请100m的内存,实际使用10m,它只增长10m,与VIRT相反;
- 关于库占用内存的情况,它只统计加载的库文件所占内存大小。
SHR:shared memory 共享内存
- 除了自身进程的共享内存,也包括其他进程的共享内存;
- 虽然进程只使用了几个共享库的函数,但它包含了整个共享库的大小;
- 计算某个进程所占的物理内存大小公式:RES – SHR;
- swap out后,它将会降下来。
4. CPU专用的mpstat
[root@xuegod70 ~]# rpm -qf `which mpstat` sysstat-10.1.5-13.el7.x86_64 [root@xuegod70 ~]# mpstat Linux 3.10.0-693.el7.x86_64 (xuegod70.cn) 07/06/2018 _x86_64_ (4 CPU) 11:44:54 AM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 11:44:54 AM all 0.04 0.00 0.04 0.03 0.00 0.00 0.00 0.00 0.00 99.88
- nice:低优先级进程使用CPU占比。nice值大于0。
- sys:内核空间CPU使用占比。
- iowait:CPU等待IO占比。
- irq:CPU处理硬中断占比。
- soft:CPU处理软中断占比。
- idle:CPU空闲时间占比。
- guest与steal与虚拟机有关,暂不涉及。
[root@xuegod70 ~]# mpstat -P ALL #查看所有CPU运行状态 Linux 3.10.0-693.el7.x86_64 (xuegod70.cn) 07/06/2018 _x86_64_ (4 CPU) 11:53:32 AM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 11:53:32 AM all 0.04 0.00 0.04 0.03 0.00 0.00 0.00 0.00 0.00 99.88 11:53:32 AM 0 0.06 0.00 0.03 0.03 0.00 0.00 0.00 0.00 0.00 99.88 11:53:32 AM 1 0.05 0.00 0.03 0.02 0.00 0.00 0.00 0.00 0.00 99.90 11:53:32 AM 2 0.03 0.00 0.07 0.05 0.00 0.00 0.00 0.00 0.00 99.85 11:53:32 AM 3 0.03 0.00 0.05 0.03 0.00 0.00 0.00 0.00 0.00 99.88 [root@xuegod70 ~]# mpstat -P ALL 5 2 #表示每5秒产生一个报告,总共产生2个 Linux 3.10.0-693.el7.x86_64 (xuegod70.cn) 07/06/2018 _x86_64_ (4 CPU) 11:53:37 AM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 11:53:42 AM all 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 11:53:42 AM 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 11:53:42 AM 1 0.00 0.00 0.20 0.00 0.00 0.00 0.00 0.00 0.00 99.80 11:53:42 AM 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 11:53:42 AM 3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 11:53:42 AM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 11:53:47 AM all 0.00 0.00 0.05 0.00 0.00 0.00 0.00 0.00 0.00 99.95 11:53:47 AM 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 11:53:47 AM 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 11:53:47 AM 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 11:53:47 AM 3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 Average: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle Average: all 0.00 0.00 0.03 0.00 0.00 0.00 0.00 0.00 0.00 99.97 Average: 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 Average: 1 0.00 0.00 0.10 0.00 0.00 0.00 0.00 0.00 0.00 99.90 Average: 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 Average: 3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
三、查看Memory运行状态相关工具,找出系统中使用内存最多的进程
1、查看Memory运行状态相关工具
在CentOS6及以前的版本中,free命令输出是这样的:
[root@stu003 ~]# free total used free shared buffers cached Mem: 1785856 1749352 36504 0 137504 933196 -/+ buffers/cache: 678652 1107204 Swap: 2818040 0 2818040 第一行: 系统内存主要分为四部分:used(程序已使用内存),free(空闲内存),buffers(buffer cache),cached(Page cache)。 系统总内存total = used + free; buffers和cached被算在used里,因此第一行系统已使用内存used = buffers + cached + 第二行系统已使用内存used, 由于buffers和cached在系统需要时可以被回收使用,因此系统可用内存 = free + buffers + cached; shared为程序共享的内存空间,往往为0。 第二行: 正因为buffers和cached在系统需要时可以被回收使用,因此buffer和cached其实可以可以算作可用内存,因此: 系统可用内存,即第二行的free = 第一行的free + buffers + cached。 系统已使用内存,即第二行的used = total - 第二行free 第三行: swap内存交换空间使用情况
CentOS7及以后free命令的输出如下:
[root@xuegod70 ~]# free -h total used free shared buff/cache available Mem: 976M 105M 125M 12M 744M 659M Swap: 1.0G 288K 1.0G buffer和cached被合成一组,加入了一个available,关于此available,文档上的说明如下: MemAvailable: An estimate of how much memory is available for starting new applications, without swapping. 即系统可用内存,之前说过由于buffer和cache可以在需要时被释放回收,系统可用内存即 free + buffer + cache,在CentOS7之后这种说法并不准确,因为并不是所有的buffer/cache空间都可以被回收。 即available = free + buffer/cache - 不可被回收内存(共享内存段、tmpfs、ramfs等)。 因此在CentOS7之后,用户不需要去计算buffer/cache,即可以看到还有多少内存可用,更加简单直观。
buffers #缓存从磁盘读出的内容
cached #缓存需要写入磁盘的内容
当物理内存不够用的时候,内核会把非活跃的数据清空。
2. 通过/proc目录,查看非活跃的内存
/proc文件系统下的多种文件提供的系统信息不是针对某个特定进程的,而是能够在整个系统范围的上下文中使用。可以使用的文件随系统配置的变化而变化。
[root@xen ~]# cat /proc/meminfo MemTotal: 1720320 kB MemFree: 909000 kB Buffers: 41500 kB Cached: 385016 kB SwapCached: 0 kB Active: 347340 kB 活跃内存,指进程一直读写的内存空间 Inactive: 346992 kB 非活跃内存 注:当内存不够用时,kernel总是把不活跃的内存交换到swap空间。如果inactive内存多时,加swap空间可以解决问题,而active多,则考虑加内存。 HighTotal: 981512 kB HighFree: 318568 kB LowTotal: 738808 kB
3.实战:找出系统中使用内存最多的进程?
方法一:使用top命令
运行top , 然后按下大写的M 可以按内存使用率来排序显示
方法二:按照实际使用内存,从大到小排序显示所有进程列表
[root@xuegod63 ~]# ps -aux --sort -rss | more 内存降序排序(去掉减号就是升序)
或:
[root@xuegod63 ~]# ps -aux --sort -rss > a.log
四、查看IO运行状态相关工具,找出系统中对磁盘读写最多的进程
1、I/O调优相关查看工具
查看系统块大小 RHEL 6
[root@xuegod63 ~]# tune2fs -l /dev/sda1 | grep size
Filesystem features: has_journal ext_attr resize_inode dir_index filetype needs_recovery extent flex_bg sparse_super huge_file uninit_bg dir_nlink extra_isize
Block size: 1024 # 为1个字节 。 一个扇区512字节。
RHEL 7
[root@xuegod63 ~]# xfs_growfs -l /dev/sda1 |grep bsize
data = bsize=4096 blocks=51200, imaxpct=25
naming =version 2 bsize=4096 ascii-ci=0 ftype=1
log =internal bsize=4096 blocks=855, version=2
2、找出系统中对磁盘读写最多的进程
实战:查看系统中哪个磁盘或分区最繁忙?
对于这个服务器,8块磁盘中,哪个硬盘最繁忙?哪个分区最繁忙?
通过iostat命令查看IO是否存在瓶颈
安装iostat:
[root@xuegod63 ~]# rpm -ivh /mnt/Packages/sysstat-10.1.5-12.el7.x86_64.rpm 常用参数: -d 仅显示磁盘统计信息 -k 以K为单位显示每秒的磁盘请求数,默认单位块. -p device | ALL 用于显示块设备及系统分区的统计信息. [root@xuegod63 ~]# iostat -d -k -p /dev/sda Linux 2.6.32-220.el6.x86_64 (xuegod63.cn) 03/20/2017 _x86_64_ (4 CPU) Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn sda 6.64 167.01 18.53 301418 33437 sda1 0.33 1.28 0.00 2317 9 sda2 6.03 164.53 18.52 296949 33428 sda3 0.18 0.80 0.00 1452 0 注: 每列含意: kB_read/s 每秒从磁盘读入的数据量,单位为K. kB_wrtn/s 每秒向磁盘写入的数据量,单位为K. kB_read 读入的数据总量,单位为K. kB_wrtn 写入的数据总量,单位为K.
测试: 给磁盘写入一些内容, 写入时尽可能不读磁盘?
[root@xuegod63 ~]# dd if=/dev/zero of=a.txt bs=10M count=1000;sync 读入的数据用/dev/zero , /dev/zero不会读磁盘的。 sync #把内存中的数据快速写到磁盘上。只做dd不执行sync,不容易看不出写入效果 这一招学到手:1 [root@xuegod63 ~]# iostat -p sda -dk Linux 2.6.32-220.el6.x86_64 (xuegod63.cn) 03/03/2017 _x86_64_ (4 CPU) Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn sda 6.07 128.02 463.04 298190 1078577 sda1 0.25 0.99 0.00 2317 9 sda2 5.60 126.10 463.04 293721 1078568
五、查看系统整体运行状态
1、查看内存及系统整体运行状态:
vmstat :命令是最常见的Linux/Unix监控工具,可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率,MEM内存使用,MSwap虚拟内存交换情况,IO读写情况。
使用vmstat可以看到整个机器的CPU,内存,IO的使用情况,而不是单单看到各个进程的CPU使用率和内存使用率。 比top命令节省资源。
注:当机器运行比较慢时,建议大家使用vmstat查看运行状态,不需要使用top,因top使用资源比较多。
[root@xuegod70 ~]# vmstat procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 1 0 288 436628 656 454916 0 0 2 18 19 17 0 0 100 0 0
vmstat每个字段含义说明
类别 | 项目 | 含义 | 说明 |
Procs(进程) | r | 等待执行的任务数 | 展示了正在执行和等待cpu资源的任务个数。当这个值超过了cpu个数,就会出现cpu瓶颈。 |
B | 等待IO的进程数量 |
| |
Memory(内存) | swpd | 正在使用虚拟的内存大小,单位k |
|
free | 空闲内存大小 |
| |
buff | 已用的buff大小,对块设备的读写进行缓冲 |
| |
cache | 已用的cache大小,文件系统的cache |
| |
inact | 非活跃内存大小,即被标明可回收的内存,区别于free和active | 具体含义见:概念补充(当使用-a选项时显示) | |
active | 活跃的内存大小 | 具体含义见:概念补充(当使用-a选项时显示) | |
Swap | si | 每秒从交换区写入内存的大小(单位:kb/s) |
|
so | 每秒从内存写到交换区的大小 |
| |
IO | bi | 每秒读取的块数(读磁盘) | 现在的Linux版本块的大小为1024bytes |
bo | 每秒写入的块数(写磁盘) |
| |
system | in | 每秒中断数,包括时钟中断 | 这两个值越大,会看到由内核消耗的cpu时间会越多 |
cs | 每秒上下文切换数 | ||
CPU(以百分比表示) | Us | 用户进程执行消耗cpu时间(user time) | us的值比较高时,说明用户进程消耗的cpu时间多,但是如果长期超过50%的使用,那么我们就该考虑优化程序算法或其他措施了 |
Sy | 系统进程消耗cpu时间(system time) | sys的值过高时,说明系统内核消耗的cpu资源多,这个不是良性的表现,我们应该检查原因。 | |
Id | 空闲时间(包括IO等待时间) |
| |
wa | 等待IO时间 | Wa过高时,说明io等待比较严重,这可能是由于磁盘大量随机访问造成的,也有可能是磁盘的带宽出现瓶颈。 |
2、使用sar命令记录系统一段时间的运行状态
[root@xuegod63 ~]# rpm -ivh /mnt/Packages/sysstat-10.1.5-12.el7.x86_64.rpm 或: [root@xuegod63 ~]# yum -y install sysstat
sysstat 工具包------可以把检查到的信息保存下来! 存在/var/log/sa目录下,文件名为sa当前日期
sar 默认显示每10分钟统计一次状态信息 (从装sysstat包开始)
sar 命令行的常用格式:
sar [options] [-A] [-o file] t [n]
在命令行中,n 和t 两个参数组合起来定义采样间隔和次数,t为采样间隔,是必须有的参数,n为采样次数,是可选的,默认值是1,-o file表示将命令结果以二进制格式存放在文件中,file 在此处不是关键字,是文件名。options 为命令行选项,sar命令的选项很多,下面只列出常用选项:
下面只列出常用选项:
-A:所有报告的总和。
-
-
- -n:网络接口的情况。
- -u:CPU利用率
- -v:进程、I节点、文件和锁表状态。
- -d:硬盘使用报告。
- -r:没有使用的内存页面和硬盘块。
- -g:串口I/O的情况。
- -b:缓冲区使用情况。
- -a:文件读写情况。
- -c:系统调用情况。
- -R:进程的活动情况。
- -y:终端设备活动情况。
- -w:系统交换活动。
- -o 文件名:打印到屏幕并将采样结果以二进制形式存入当前目录下的文件中。
- -f 文件名:查看之前保存的二进制文件。
-
- -d 显示磁盘
- -d 1 100 必须得指定次数
- -c 每秒创建进程的个数
- -i 1 10 指定时间间隔
- -P 查看cpu
- -r 查看内存
- -w 每秒上下文切换次数
-o /cpu.sar 保存并显示
-f cpu.sar 读取
例一:使用命令行 sar -u t n
例如,每2秒采样一次,连续采样5次,观察CPU 的使用情况,并将采样结果以二进制形式存入当前目录下的文件cpu.sar中,需键入如下命令:
[root@xuegod63 ~]# sar -u 2 5 -o cpu.sar #屏幕显示以一下内容,同时内容也会写到cpu.sar中 Linux 2.6.32-220.el6.x86_64 (xuegod63.cn) 08/04/2015 _x86_64_ (4 CPU) 10:44:45 PM CPU %user %nice %system %iowait %steal %idle 10:44:47 PM all 0.14 0.00 2.34 0.14 0.00 97.39 10:44:49 PM all 1.08 0.00 1.33 0.36 0.00 97.23 10:44:51 PM all 2.54 0.00 2.16 0.00 0.00 95.29 10:44:53 PM all 0.25 0.00 1.52 0.13 0.00 98.10 10:44:55 PM all 1.52 0.00 1.65 0.28 0.00 96.56 Average: all 1.11 0.00 1.79 0.18 0.00 96.92
在显示内容包括:
- %usr:CPU处在用户模式下的时间百分比。
- %sys:CPU处在系统模式下的时间百分比。
- %wio:CPU等待输入输出完成时间的百分比。
- %idle:CPU空闲时间百分比。
在所有的显示中,我们应主要注意%wio和%idle,%wio的值过高,表示硬盘存在I/O瓶颈,%idle值高,表示CPU较空闲,如果%idle值高但系统响应慢时,有可能是CPU等待分配内存,此时应加大内存容量。%idle值如果持续低于10,那么系统的CPU处理能力相对较低,表明系统中最需要解决的资源是CPU。
实例2:查看二进制文件cpu.sar中的内容
[root@xuegod63 ~]# sar -u -f cpu.sar Linux 2.6.32-220.el6.x86_64 (xuegod63.cn) 08/04/2015 _x86_64_ (4 CPU) 08:21:43 PM CPU %user %nice %system %iowait %steal %idle 08:21:45 PM all 0.00 0.00 0.72 2.03 0.00 97.25 08:21:47 PM all 0.00 0.00 0.60 0.00 0.00 99.40 08:21:49 PM all 0.13 0.00 0.75 0.00 0.00 99.12 08:21:51 PM all 0.00 0.00 0.75 0.00 0.00 99.25 08:21:53 PM all 0.12 0.00 0.75 0.00 0.00 99.13 注:sar命令即可以实时采样,又可以对以往的采样结果进行查询。
3、查看sar 的计划任务:
[root@xuegod63 ~]#vim /etc/cron.d/sysstat # Run system activity accounting tool every 10 minutes # Run system activity accounting tool every 10 minutes */10 * * * * root /usr/lib64/sa/sa1 1 1 # 0 * * * * root /usr/lib64/sa/sa1 600 6 & # Generate a daily summary of process accounting at 23:53 53 23 * * * root /usr/lib64/sa/sa2 -A 生成的日志位置: # ls /var/log/sa 读取日志: [root@xuegod63 ~]# ls /var/log/sa #只要安装sar后就会定期收集系统信息 sa04 sa07 sa18 -n:网络接口的情况。 [root@xuegod63 ~]# sar -n DEV -f /var/log/sa/sa04 #查看网络信息
# sar -r -f /var/log/sa/sa27
# sar -b -f /var/log/sa/sa27
# sar -f /var/log/sa/sa27
动态查看:
sar 1 #默认显示CPU状态,1秒显示一次
sar 1 10
sar -P 0 1 10
sar最大特点是可以监控所有状态
sar -r 1 查看内存
sar -n ALL 查看所有