Linux 常用性能优化命令

1.为什么使用Linux的性能优化：

    • 不可能在生产机器上安装idea或eclipse去debug

    • 只看log4j是不够的

 

2.Linux服务器性能查看主要考虑因素：

    • CPU;  

    • 内存;  

    • 磁盘; 

    • 网络;

 

3.Linux服务器性能查看常用命令：

    • top  实时报告系统整体性能情况

    • uptime  报告系统运行时长及平均负载

    • vmstat 检查是否存在CPU瓶颈

    • free  检测是否存在内存瓶颈

    • iostat     检测是否存在磁盘I/O瓶颈

    • netstat   检测是否存在网络I/O瓶颈

    • ps   可以查看进程以及进程中cpu的使用情况

    • df  报告磁盘空间使用情况

 

4.实时报告系统整体性能情况： top 和 uptime 

    以上面截图为例，对参数每行进行解析：

4.1 第一行是任务队列信息：同 uptime  命令的执行结果,主要用于报告系统运行时长及平均负载。

    top - 00:28:41 up 7 days,  1:25,  2 users,  load average: 0.51, 0.47, 0.44

 

00:28:41	系统当前时间
up 7 days	系统运行时间，格式为时:分
2 users	当前登录用户数
load average: 0.51, 0.47, 0.44	负载均衡，当三个值相加后除以3结果大于0.6表示需要注意服务器负担。 说明：这三个输出值分别为：1分钟平均负载、5分钟平均负载、15 分钟平均负载，大小一般不能大于系统CPU的个数。 假设，本输出中系统有8个CPU,如果load average的三个值长期大于8时，说明CPU很繁忙，负载很高，可能会影响系统性能。但是偶尔大于8时，倒不用担心，一般不会影响系统性能。相反，如果load average的输出值小于CPU的个数，则表示CPU还有空闲的时间片，比如本例中的输出，CPU是非常空闲的。

4.2 第二、三行为进程和CPU的信息，当有多个CPU时，这些内容可能会超过两行。内容如下：

    Tasks: 180 total,   1 running, 179 sleeping,   0 stopped,   0 zombie

    Cpu(s):  0.2%us,  0.8%sy,  0.0%ni, 99.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Tasks: 180 total	进程总数
1 running	正在运行的进程数
179 sleeping	睡眠的进程数
0 stopped	停止的进程数
0 zombie	僵尸进程数
0.2%usj	用户空间占用CPU百分比
0.8%sy	内核空间占用CPU百分比
0.0%ni	用户进程空间内改变过优先级的进程占用CPU百分比
99.0%id	空闲CPU百分比
0.0%wa	等待输入输出的CPU时间百分比
0.0%hi
0.0%si
0.0%st

4.3 第四五行为内存信息。

    Mem:   1016152k total,   862076k used,   154076k free,    79436k buffers

    Swap:  2064380k total,   547152k used,  1517228k free,   286244k cached

Mem:  1016152k total	物理内存总量
862076k used	使用的物理内存总量
154076k free	空闲内存总量
79436k buffers	用作内核缓存的内存量
Swap:  2064380k total	交换区总量
547152k used	使用的交换区总量
1517228k free	空闲交换区总量
286244k cached	缓冲的交换区总量。 内存中的内容被缓冲到交换区，而后又被换入到内存，但使用过的交换区尚未被覆盖， 该数值即为这些内容已存在于内存中的交换区的大小。相应的内存再次被换出时可不必再对交换区写入。

 

5.检查是否存在CPU瓶颈：vmstat

    vmstat命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况。这个命令是我查看Linux/Unix最喜爱的命令，一个是Linux/Unix都支持，二是相比top，我可以看到整个机器的CPU,内存,IO的使用情况，而不是单单看到各个进程的CPU使用率和内存使用率(使用场景不一样)。

    一般vmstat工具的使用是通过两个数字参数来完成的，第一个参数是采样的时间间隔数，单位是秒，第二个参数是采样的次数，如:

 

    说明：vmstat 与 vmstat -n 2 3 的区别是 vmstat 一次性测试cpu的性能评估，而vmstat -n 2 3 每隔隔两秒进行测试一次。

每个参数详细说明：

     r 表示运行队列(就是说多少个进程真的分配到CPU)，我测试的服务器目前CPU比较空闲，没什么程序在跑，当这个值超过了CPU数目，就会出现CPU瓶颈了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高。

     b 表示阻塞的进程,这个不多说，进程阻塞，大家懂的。

     swpd 虚拟内存已使用的大小，如果大于0，表示你的机器物理内存不足了，如果不是程序内存泄露的原因，那么你该升级内存了或者把耗内存的任务迁移到其他机器。

     free   空闲的物理内存的大小，我的机器内存总共8G，剩余293M。

     buff   Linux/Unix系统是用来存储，目录里面有什么内容，权限等的缓存，我本机大概占用30多M

     cache cache直接用来记忆我们打开的文件,给文件做缓冲，我本机大概占用15多M(这里是Linux/Unix的聪明之处，把空闲的物理内存的一部分拿来做文件和目录的缓存，是为了提高 程序执行的性能，当程序使用内存时，buffer/cached会很快地被使用。)

     si  每秒从磁盘读入虚拟内存的大小，如果这个值大于0，表示物理内存不够用或者内存泄露了，要查找耗内存进程解决掉。我的机器内存充裕，一切正常。

     so  每秒虚拟内存写入磁盘的大小，如果这个值大于0，同上。

     bi  块设备每秒接收的块数量，这里的块设备是指系统上所有的磁盘和其他块设备，默认块大小是1024byte，我本机上没什么IO操作，所以一直是0，但是我曾在处理拷贝大量数据(2-3T)的机器上看过可以达到140000/s，磁盘写入速度差不多140M每秒

     bo 块设备每秒发送的块数量，例如我们读取文件，bo就要大于0。bi和bo一般都要接近0，不然就是IO过于频繁，需要调整。

     in 每秒CPU的中断次数，包括时间中断

     cs 每秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的数目,例如在apache和nginx这种web服务器中，我们一般做性能测试时会进行几千并发甚至几万并发的测试，选择web服务器的进程可以由进程或者线程的峰值一直下调，压测，直到cs到一个比较小的值，这个进程和线程数就是比较合适的值了。系统调用也是，每次调用系统函数，我们的代码就会进入内核空间，导致上下文切换，这个是很耗资源，也要尽量避免频繁调用系统函数。上下文切换次数过多表示你的CPU大部分浪费在上下文切换，导致CPU干正经事的时间少了，CPU没有充分利用，是不可取的。

     us 用户CPU时间，我曾经在一个做加密解密很频繁的服务器上，可以看到us接近100,r运行队列达到80(机器在做压力测试，性能表现不佳)。

     sy 系统CPU时间，如果太高，表示系统调用时间长，例如是IO操作频繁。

     id  空闲 CPU时间，一般来说，id + us + sy = 100,一般我认为id是空闲CPU使用率，us是用户CPU使用率，sy是系统CPU使用率。

     wt 等待IO CPU时间。

 

6.检测是否存在内存瓶颈： free

第一部分Mem行:表示物理内存统计

    total 内存总数: 1016152M

    used 已经使用的内存数: 869040M

    free 空闲的内存数:147112M

    shared 当前已经废弃不用,总数 2860

    buffers Buffer 缓存内存数: 81624M

    cached Page 缓存内存数:1287060M

    关系：total(1016152M) = used(869040 M) + free(147112 M)

第二部分(-/+ buffers/cache): 表示物理内存的缓存统计

    (-buffers/cache) used内存数：第一部分Mem行中的 used – buffers – cached

    (+buffers/cache) free内存数: 第一部分Mem行中的 free + buffers + cached

    可见-buffers/cache反映的是被程序实实在在吃掉的内存,而+buffers/cache反映的是可以挪用的内存总数.

第三部分：交换分区，不解释，都能看懂的

    注意：从上面可以看出供程序使用的内存，应该看+buffers/cache()，而不是free。那明明已经开始使用 swap了，怎么能说内存还充足呢？

             我的理解是，系统在分配内存的时候，如果发现内存不足，会释放一批旧的cache，把空间腾出来给新申请的进程用， 有时候释放不充分或者不及时，于是开始使用到swap了！

 

 

7.磁盘I/O性能评估：iostat 

    Linux系统中通过iostat我们能查看到系统IO状态信息，从而确定IO性能是否存在瓶颈。

    单独执行iostat，显示的结果为从系统开机到当前执行时刻的统计信息。

以上输出中，包含三部分：

第一行	最上面指示系统版本、主机名和当前日期
avg-cpu	总体cpu使用情况统计信息，对于多核cpu，这里为所有cpu的平均值
Device	各磁盘设备的IO统计信息

Avg-cpu 中各列参数含义如下：

选项	说明
%user	CPU在用户态执行进程的时间百分比。
%nice	CPU在用户态模式下，用于nice操作，所占用CPU总时间的百分比
%system	CPU处在内核态执行进程的时间百分比
%iowait	CPU用于等待I/O操作占用CPU总时间的百分比
%steal	管理程序(hypervisor)为另一个虚拟进程提供服务而等待虚拟CPU的百分比
%idle	CPU空闲时间百分比

注意：如果%iowait的值过高，表示硬盘存在I/O瓶颈。

            %idle值高表示CPU较空闲，如果%idle值高但系统响应慢时，有可能是CPU等待分配内存，此时应加大内存容量。

            %idle值如果持续低于1，那么系统的CPU处理能力相对较低，表明系统中最需要解决的资源是CPU。

 Device中各列参数含义如下：

选项	说明
Device	设备名称
tps	每秒向磁盘设备请求数据的次数，包括读、写请求，为rtps与wtps的和。出于效率考虑，每一次IO下发后并不是立即处理请求，而是将请求合并(merge)，这里tps指请求合并后的请求计数。
Blk_read/s	Indicate the amount of data read from the device expressed in a number of blocks per second. Blocks are equivalent to sectors with kernels 2.4 and later and therefore have a size of 512 bytes. With older kernels, a block is of indeterminate size.
Blk_wrtn/s	Indicate the amount of data written to the device expressed in a number of blocks per second.
Blk_read	取样时间间隔内读扇区总数量
Blk_wrtn	取样时间间隔内写扇区总数量

    说明：我们可以使用-c选项单独显示avg-cpu部分的结果，使用-d选项单独显示Device部分的信息。

 

8.检测是否存在网络I/O瓶颈:netstat

从整体上看，netstat的输出结果可以分为两个部分：

     一个是Active Internet connections，称为有源TCP连接，其中"Recv-Q"和"Send-Q"指%0A的是接收队列和发送队列。这些数字一般都应该是0。如果不是则表示软件包正在队列中堆积。这种情况只能在非常少的情况见到。

     另一个是Active UNIX domain sockets，称为有源Unix域套接口(和网络套接字一样，但是只能用于本机通信，性能可以提高一倍)。

Proto显示连接使用的协议,RefCnt表示连接到本套接口上的进程号,Types显示套接口的类型,State显示套接口当前的状态,Path表示连接到套接口的其它进程使用的路径名。

常见参数

     -a (all)显示所有选项，默认不显示LISTEN相关

     -t (tcp)仅显示tcp相关选项

     -u (udp)仅显示udp相关选项

     -n 拒绝显示别名，能显示数字的全部转化成数字。

     -l 仅列出有在 Listen (监听) 的服務状态

     -p 显示建立相关链接的程序名

     -r 显示路由信息，路由表

     -e 显示扩展信息，例如uid等

     -s 按各个协议进行统计

     -c 每隔一个固定时间，执行该netstat命令。

     提示：LISTEN和LISTENING的状态只有用-a或者-l才能看到

 

9.ps :可以查看进程以及进程中cpu的使用情况

    详见：Linux 常用基本命令

 

10.df :报告磁盘空间使用情况

    详见：Linux 常用基本命令