linux 网络监控 优化,Linux性能优化和监控系列(一)top工具

解释服务器发生了什么——top工具

在检查服务器的详细工作性能状态前，系统管理员需要对当前服务器状态有总体的了解. top是检查服务器总体状态的强有力工具, 通过top可以获取CPU, Memory, Process运行信息, 如下是运行top命令后的数据显示:

top - 20:08:09 up 10 min, 1 user, load average: 0.00, 0.02, 0.01

Tasks: 104 total, 1 running, 103 sleeping, 0 stopped, 0 zombie

Cpu(s): 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st

Mem: 3924700k total, 260016k used, 3664684k free, 13552k buffers

Swap: 4063224k total, 0k used, 4063224k free, 75816k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND

6284 root 20 0 15028 1308 1000 R 0.3 0.0 0:00.03 top

1 root 20 0 19356 1580 1268 S 0.0 0.0 0:01.80 init

2 root 20 0 0 0 0 S 0.0 0.0 0:00.00 kthreadd

3 root RT 0 0 0 0 S 0.0 0.0 0:00.02 migration/0

4 root 20 0 0 0 0 S 0.0 0.0 0:00.00 ksoftirqd/0

5 root RT 0 0 0 0 S 0.0 0.0 0:00.00 migration/0

6 root RT 0 0 0 0 S 0.0 0.0 0:00.00 watchdog/0

7 root RT 0 0 0 0 S 0.0 0.0 0:00.03 migration/1

8 root RT 0 0 0 0 S 0.0 0.0 0:00.00 migration/1

9 root 20 0 0 0 0 S 0.0 0.0 0:00.00 ksoftirqd/1

10 root RT 0 0 0 0 S 0.0 0.0 0:00.00 watchdog/1

用top监控CPU性能

在用top分析服务器性能时，首先注意的是load average, load average包括三个信息, 分别指最后一分钟, 最后5分钟, 最后15分钟系统平均性能, 该数值的锚固值(anchor value)是1.0. 对于一个单核CPU, 当锚固值达到1.0时, 系统会处于忙碌状态, 但应用也可以正常运行, 没有任何应用排队等待CPU.

需要注意的是load average是系统的平均性能而不是CPU的, 有可能load average远高于1.0, 但是CPU没有做任何工作, 如系统忙于等待I/O.

使系统总是工作在anchor value为1.0也许很好, 但也许没有必要, 因此在判断系统工作在anchor value为1.0时是好是坏之前, 需要系统管理员更加深入的了解特定工作量. 比如对于如下两个任务:

Task 1: while true; do true; done

Task 2: dd if=/dev/sda of=/dev/null

当执行Task 1时, Task 1会使CPU的一个核使用率达到100%, anchor value值也会超过1.0, 如果系统CPU只有一个核, 那么系统会处于完全忙碌状态, 这时新的进程不会再开始, 会被放入队列中排队, 直到有空闲的CPU资源.

当执行Task 2时, Task 2也会使anchor value大于或等于1.0, 但是这时该任务只是在等待I/O资源, CPU任然可以继续给其他进程使用.

如果系统CPU非常忙碌, 你需要通过top命令的CPU行深入的分析系统正在做什么, CPU行提供如下CPU性能信息:

us

us表示user space负载, 通常运行在user space下的应用程序由终端用户启动, 不以root权限运行, 如果us负载高, 这意味着应用程序消耗CPU高.

sy

sy表示system space负载, 通常运行在system space下的进程由操作系统内核调用, 正常情况下sy不会很高.

ni

ni表示已经启动的用nice命令调整的任务数.

id

id表示CPU空闲的时间.

wa

wa表示CPU正在等待I/O, 如果wa连续大于30, 这表示关联storage和network的I/O channel有问题，需要检查network和storage的性能问题.

hi

hi表示CPU用在处理硬件终端的时间.

si

si跟软件中断有关, 通常是些由内核创建的低优先级软件终端, 几乎很少会遇到si使用率很高.

st

st跟一个被虚拟化使用的环境有关, 在某些虚拟化环境中, 虚拟机会宿主操作系统偷取CPU时间, 如果这种情况发生, st会有使用率, 若使用率很高, 需考虑从服务器卸载虚拟机.

用top监控内存性能

top命令的Mem行跟内存和交换分区有关, Mem行包括五个参数:

total

服务器总的物理内存.

used

当前使用的总得内存, 包括buffers和cache.

free

当前没有使用的内存.

buffers

buffer跟服务器使用的write cache有关, 也包括文件系统表和一些服务器需要放在内存的结构. 所有需要写到磁盘的数据首先写到write cache, 从终端用户的角度来看, 用户使用的应用程序不需要等待数据写入. 如果系统需要更多的内存, 而不能从free的内存分配时, write cache能被刷新, 然后将write cache使用的内存给其他应用程序使用. 总之, buffer使系统变得更快.

cached

当用户从服务器请求文件时，通常文件需要从磁盘读取, 由于磁盘比内存大约慢1000倍, 因此每次从磁盘获取文件后都放到cache来加速下次读取该文件. 如果分配给cahce的内存需要给其他应用程序使用, cache可以被立即释放加入到free内存中以便使用. 对于那些读次数多的服务器，cache内存通常很高，如果cache内存低于总内存的40%, 那么服务器性能可能很慢, 这时需增加内存.

swap

swap space是在硬盘上模拟内存, 如果系统开始使用swap, 这可不好, 因为swap比内存大约慢1000倍. 但swap并不是总是不好, 如内核使用它把不需要的数据从内存移除, 以便释放更多内存空间.

监控Buffer和Cache内存

1. 重启服务器.

2. 观察当前服务器Buffer和Cache.

top - 03:17:03 up 1 min, 3 users, load average: 0.25, 0.11, 0.04

Tasks: 108 total, 1 running, 107 sleeping, 0 stopped, 0 zombie

Cpu(s): 0.2%us, 0.2%sy, 0.0%ni, 99.7%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st

Mem: 3924700k total, 199948k used, 3724752k free, 9448k buffers

Swap: 4063224k total, 0k used, 4063224k free, 55316k cached

3. 运行如下命令填满Cache, 并观察Cache数量.

cd /etc

for I in *

do

cat $I

done

top - 03:19:09 up 3 min, 3 users, load average: 0.09, 0.08, 0.03

Tasks: 108 total, 1 running, 107 sleeping, 0 stopped, 0 zombie

Cpu(s): 0.2%us, 0.0%sy, 0.0%ni, 99.8%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st

Mem: 3924700k total, 212968k used, 3711732k free, 10556k buffers

Swap: 4063224k total, 0k used, 4063224k free, 65124k cached

4. 运行如下命令填满Buffer, 并观察Buffer数量.

ls -Rl / > /dev/null &

top - 03:22:07 up 6 min, 3 users, load average: 0.44, 0.22, 0.08

Tasks: 108 total, 1 running, 107 sleeping, 0 stopped, 0 zombie

Cpu(s): 0.0%us, 0.2%sy, 0.0%ni, 99.8%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st

Mem: 3924700k total, 329528k used, 3595172k free, 39116k buffers

Swap: 4063224k total, 0k used, 4063224k free, 65176k cached

5. 通过如下命令清除服务器Buffer和Cache.

echo 3 > /proc/sys/vm/drop_caches

用top监控进程

PID

进程ID.

USER

启动这个进程的用户.

PR

进程的优先级.

NI

已启动进程的nice值.

VIRT

进程首次启动时要求的内存大小.

RES

常驻内存, 表示进程运行实际需要的内存, 实际内存可能比virt内存要小.

SHR

当前进程与其他进程共享的内存.

S

进程状态.

%CPU

当前进程使用的CPU时间百分比.

%MEM

当前进程使用的内存百分比.

TIME+

当前进程使用CPU周期的总时间.

COMMAND

进程命令.