滴滴云DC2云服务器预装工具介绍（一）

近期滴滴云DC2服务器做了一次标准镜像的升级，在本次升级中所有版本的系统（CentOS7.3、CentOS6.9、Ubuntu16.04、Ubuntu14.04）都为用户默认安装了一些常用的工具。这些工具主要集中在性能监控、网络分析、系统调试等几个方面。预装这些工具后，开发者友好程度更加明显，省去了用户搜索安装所浪费的时间。接下来我们就结合DC2服务器实例，分篇章来介绍下这些工具的用法。

性能工具

DC2服务器提供了常用的性能监测工具，本篇将介绍这些性能工具的用法

性能工具	功能介绍
iostat	监控设备的CPU状态和I/O状态数据等
mpstat	监控和显示关于CPU的细节信息
vmstat	监控服务器的CPU使用率，内存使用，虚拟内存交换情况,I/O读写情况
pidstat	监控全部或指定进程的CPU、内存、线程、设备I/O等系统资源的占用情况
iotop	监控磁盘I/O情况

在具体介绍这些工具的用法之前，我们做一些准备工作：创建DC2服务器，并在DC2服务器上结合实例进行工具用法的介绍。
1. 首先根据DC2服务器创建帮助文档上的步骤， 我们创建一台带EIP的CentOS7.3云服务器，名称为didi-test,该服务器规格为2核、4G内存、40G系统盘。
2. 接着根据EBS云盘创建帮助文档购买一个20G SSD云盘，并且挂载到第1步中的云服务器上。
3. ssh登录到这台服务器上，查看具体的配置信息如下

[dc2-user@10-254-158-32 ~]$ lscpu|grep CPU
CPU op-mode(s):        32-bit, 64-bit
CPU(s):                2
On-line CPU(s) list:   0,1
CPU family:            6
Model name:            Intel(R) Xeon(R) CPU E5-2680 v4 @ 2.40GHz
CPU MHz:               2394.454
NUMA node0 CPU(s):     0,1
[dc2-user@10-254-158-32 ~]$ free -m
              total        used        free      shared  buff/cache   available
Mem:           3790          91         118          40        3580        3431
Swap:             0           0           0
[dc2-user@10-254-158-32 ~]$ lsblk -l
NAME MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sr0   11:0    1 1024M  0 rom  
vda  253:0    0   40G  0 disk 
vda1 253:1    0   40G  0 part /
vdb  253:16   0   20G  0 disk 
vdb1 253:17   0   20G  0 part /data

iostat

iostat 命令针对系统的整体情况进行分析，完成系统磁盘I/O情况和CPU使用情况的监视。下面列出几个常用的用法，如需获得更多用法，请参考iostat帮助文档。

磁盘IO使用情况

iostat -d $interval $count  

• -d 显示磁盘使用状态；
• $interval 表示监控采样间隔（s）
• $count 表示共监控显示次数

在didi-test服务器上，查看具体的使用示例：

[root@10-254-158-32 ~]# dd if=/dev/zero of=/data/iotest bs=1M count=10000 &
[1] 15291
[root@10-254-158-32 ~]# iostat -d 1 3
Linux 3.10.0-693.21.1.el7.x86_64 (10-254-158-32)    07/08/2018  _x86_64_    (2 CPU)

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
vda               3.54        60.56        43.98     257625     187097
vdb               5.41         5.13      1988.32      21819    8458385

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
vda               0.00         0.00         0.00          0          0
vdb             181.00         0.00     92248.00          0      92248

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
vda               0.00         0.00         0.00          0          0
vdb             181.00         0.00     92160.00          0      92160

在上述例子中，首先使用dd命令在磁盘vdb所挂载的/data目录上产生了I/O，然后使用iostat查看具体的
磁盘使用情况，每隔1s监控一次，一共监控显示3次。

返回结果中的第一列代表了vda系统盘及vdb数据盘设备。这里每一行就表示各设备的监控信息
对于vdb设备第三行：
- 此时tps列表示每秒181次I/O请求
- kB_read/s列表示每秒从vdb设备读取数据量为0kB，因为此时只有写数据，所以读数据肯定是0。
- kB_wrtn/s列代表每秒写数据量92160kB。

CPU使用情况

iostat -c $interval $count

• -c 显示cpu使用情况；

在didi-test服务器上，查看具体的使用示例：

[root@10-254-158-32 ~]# stress -c 1 & 
[1] 15471
[root@10-254-158-32 ~]# iostat -c 1 3
Linux 3.10.0-693.21.1.el7.x86_64 (10-254-158-32)    07/08/2018  _x86_64_    (2 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.77    0.02    0.61    1.62    0.00   96.98

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          49.75    0.00    0.00    0.00    0.00   50.25

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          50.00    0.00    0.00    0.00    0.00   50.00

在上述例子中，首先使用stress工具使得1个CPU使用率达到100%。因为一共2个CPU，所以总的CPU使用率是在50%。

在返回结果中，可以看下第三行结果：
- %user表示CPU在用户态的使用率，因为stress进程是在用户态执行的，所以此时该值为50%。
- %nice表示改变过优先级的进程占用CPU的时间百分比
- %system表示CPU在内核态的使用率
- %iowait表示CPU用于等待I/O操作占用总时间百分比
- %idle表示CPU空闲率，这里有50%的空闲。

mpstat

mpstat是Multiprocessor Statistics的缩写，是实时系统监控工具。其报告CPU的一些统计信息，这些信息存放在/proc/stat文件中。在多CPU系统里，mpstat不仅能查看所有CPU的平均状况信息，而且能够查看特定CPU的信息。下面列出几个常用的用法，如需获得更多用法，请参考mpstat帮助文档。

基本使用

mpstat  -P ALL $interval $count

• -P 监控哪个CPU，这里是ALL代表所有CPU，可以取值[0, CPU个数-1]中的数字。
• $interval 表示监控采样间隔（s）
• $count 表示一共监控次数

在didi-test服务器上，查看具体的使用示例：

[root@10-254-158-32 ~]# stress -c 1 & 
[1] 16007
[root@10-254-158-32 ~]# stress: info: [16007] dispatching hogs: 1 cpu, 0 io, 0 vm, 0 hdd

[root@10-254-158-32 ~]# mpstat -P 0 1 2
Linux 3.10.0-693.21.1.el7.x86_64 (10-254-158-32)    07/08/2018  _x86_64_    (2 CPU)

04:29:55 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest  %gnice   %idle
04:29:56 PM    0  100.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00
04:29:57 PM    0  100.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00
Average:       0  100.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00

在上述例子中，首先使用stress工具使得1个CPU使用达到100%，接着使用mpstat监控第0号CPU的使用情况，通过返回结果可以看出0号CPU使用率确实达到了100%。

pidstat

pidstat主要用于监控全部或指定进程占用系统资源的情况，如CPU、内存、I/O等。pidstat首次运行时显示自系统启动开始到首次执行pidstat的各项统计信息，之后运行pidstat将显示自上次运行该命令以后的统计信息。用户可以通过指定统计的次数和时间来获得所需的统计信息。下面列出几个常用的用法，如需获得更多用法，请参考pidstat帮助文档。

无参数执行

pidstat

执行pidstat，将输出系统启动后所有活动进程的cpu统计信息

[root@10-254-158-32 ~]# pidstat
Linux 3.10.0-693.21.1.el7.x86_64 (10-254-158-32)    07/08/2018  _x86_64_    (2 CPU)

04:44:17 PM   UID       PID    %usr %system  %guest    %CPU   CPU  Command
04:44:17 PM     0         1    0.10    1.50    0.00    1.60     1  systemd
04:44:17 PM     0         7    0.00    0.02    0.00    0.02     0  migration/0
04:44:17 PM     0         9    0.00    0.06    0.00    0.06     1  rcu_sched
04:44:17 PM     0        12    0.00    0.01    0.00    0.01     1  migration/1
04:44:17 PM     0        13    0.06    0.00    0.00    0.06     1  ksoftirqd/1
04:44:17 PM     0        25    0.00    0.12    0.00    0.12     1  kworker/1:1
04:44:17 PM     0        42    0.00    0.01    0.00    0.01     0  kworker/u4:1
04:44:17 PM     0        44    0.00    0.03    0.00    0.03     0  kworker/0:1
04:44:17 PM     0       260    0.00    0.01    0.00    0.01     0  scsi_eh_1
04:44:17 PM     0       276    0.00    0.10    0.00    0.10     0  kworker/0:2
04:44:17 PM     0       293    0.00    0.04    0.00    0.04     1  xfsaild/vda1
04:44:17 PM     0       370    0.05    0.13    0.00    0.17     1  systemd-journal
04:44:17 PM     0       410    0.05    0.01    0.00    0.06     0  systemd-udevd
04:44:17 PM   998       540    0.01    0.01    0.00    0.02     0  polkitd
04:44:17 PM     0       542    0.00    0.01    0.00    0.01     0  irqbalance
04:44:17 PM     0       544    0.05    0.03    0.00    0.08     1  rsyslogd
04:44:17 PM    81       549    0.01    0.00    0.00    0.01     0  dbus-daemon
04:44:17 PM     0       823    0.09    0.05    0.00    0.14     1  tuned
04:44:17 PM     0       936    0.01    0.00    0.00    0.01     0  master
04:44:17 PM     0     10299    0.04    0.01    0.00    0.05     0  sshd
04:44:17 PM  1001     10301    0.00    0.01    0.00    0.01     1  sshd
04:44:17 PM  1001     10302    0.01    0.01    0.00    0.03     1  bash
04:44:17 PM  1001     10325   30.51    0.00    0.00   30.51     0  stress
04:44:17 PM     0     10331    0.00    0.03    0.00    0.03     0  kworker/0:3
04:44:17 PM     0     10333    0.00    0.01    0.00    0.01     1  sudo
04:44:17 PM     0     10349    0.00    0.01    0.00    0.01     1  pidstat

指定采样周期和次数

pidstat $interval $count

$count可省略，表示不停的循环采样。

在didi-test服务器中，查看具体使用实例：

[root@10-254-158-32 ~]# pidstat 1 2
Linux 3.10.0-693.21.1.el7.x86_64 (10-254-158-32)    07/08/2018  _x86_64_    (2 CPU)

04:47:01 PM   UID       PID    %usr %system  %guest    %CPU   CPU  Command
04:47:02 PM  1001     10325  100.00    0.00    0.00  100.00     1  stress
04:47:02 PM     0     10350    0.00    0.99    0.00    0.99     0  pidstat

04:47:02 PM   UID       PID    %usr %system  %guest    %CPU   CPU  Command
04:47:03 PM  1001     10325  100.00    0.00    0.00  100.00     1  stress
04:47:03 PM     0     10350    0.00    1.00    0.00    1.00     0  pidstat

Average:      UID       PID    %usr %system  %guest    %CPU   CPU  Command
Average:     1001     10325  100.00    0.00    0.00  100.00     -  stress
Average:        0     10350    0.00    1.00    0.00    1.00     -  pidstat

在上面实例中，pidstat以1秒为采样周期，输出2次cpu使用统计信息，最后得到2次的平均值。
其中2次采样，stress进程CPU使用率都是100%，最后得出的平均值也是100%。

查看内存使用情况

pidstat -r -p $pid $interval $count

• r表示显示各活动进程的内存使用统计
• p指定特定的进程
• $interval表示采样周期
• $count表示采样次数

在didi-test服务器中，查看具体的使用实例：

[root@10-254-158-32 ~]# cat consume_mem.py
#!/usr/bin/python
import time

test = "test"
while True:
    test += test
    time.sleep(1)
[root@10-254-158-32 ~]# python consume_mem.py &
[1] 10575
[root@10-254-158-32 ~]# pidstat -r -p 10575 2 10
Linux 3.10.0-693.21.1.el7.x86_64 (10-254-158-32)    07/08/2018  _x86_64_    (2 CPU)

05:47:04 PM   UID       PID  minflt/s  majflt/s     VSZ    RSS   %MEM  Command
05:47:06 PM     0     10575     48.00      0.00  125832   4984   0.13  python
05:47:08 PM     0     10575    193.00      0.00  126352   5644   0.15  python
05:47:10 PM     0     10575    513.50      0.00  129424   8716   0.22  python
05:47:12 PM     0     10575    518.00      0.00  141712  21004   0.54  python
05:47:14 PM     0     10575    536.00      0.00  190864  70156   1.81  python
05:47:16 PM     0     10575  10508.00      0.00  256400 135692   3.50  python
05:47:18 PM     0     10575  84508.00      0.00  649616 528908  13.63  python
05:47:20 PM     0     10575 123152.00      0.00 1173904 1053196  27.13  python
05:47:22 PM     0     10575 127816.00      0.00 3271060 2120632  54.63  python
05:47:24 PM     0     10575 128707.50      0.00 2222480 2101772  54.15  python
Average:        0     10575  47650.00      0.00  828764 605070  15.59  python

在上面例子中，启动了一个消耗内存的python程序，然后通过pidstat对其进行监控，可以看到它的内存使用不断增长。
在返回的结果中：
- minflt/s: 每秒次缺页错误次数(minor page faults)，表示虚拟内存地址映射成物理内存地址产生的缺页次数。
- majflt/s: 每秒主缺页错误次数(major page faults)，它表示当虚拟内存地址映射成物理内存地址时，相应的页在交换分区中，产生的缺页即是主缺页。
- VSZ: 使用的虚拟内存(以kB为单位)
- RSS: 使用的物理内存(以kB为单位)
- %MEM: 该进程内存使用率
- Command: 对应进程的命令

I/O使用情况统计

pidstat -d -p $pid $interval $count

• -d选项，可以查看进程I/O的统计信息。

在didi-test服务器中，查看具体的实例：

[root@10-254-158-32 ~]# dd if=/data/iotest of=/dev/null bs=1M &
[1] 16239
[root@10-254-158-32 ~]# pidstat -d -p 16239 1 5
Linux 3.10.0-693.21.1.el7.x86_64 (10-254-158-32)    07/09/2018  _x86_64_    (2 CPU)

10:21:36 AM   UID       PID   kB_rd/s   kB_wr/s kB_ccwr/s  Command
10:21:37 AM     0     16239  94208.00      0.00      0.00  dd
10:21:38 AM     0     16239  90112.00      0.00      0.00  dd
10:21:39 AM     0     16239  94208.00      0.00      0.00  dd
10:21:40 AM     0     16239  90112.00      0.00      0.00  dd
10:21:41 AM     0     16239  94208.00      0.00      0.00  dd
Average:        0     16239  92569.60      0.00      0.00  dd

在上述例子中，首先使用dd命令在磁盘vdb所挂载的/data目录读取iotest文件，产生了读流量，然后使用pidstat查看具体的I/O情况，每隔1s监控一次，一共监控显示5次。

iotop

iotop命令是一个用来监视磁盘I/O使用状况的top类工具。iotop具有与top相似的UI，其中包括PID、用户、I/O、进程等相关信息。

iotop [options]

[options] 常用选项如下:
- o：只显示有io操作的进程
- b：批量显示，无交互，主要用作记录到文件。
- n NUM：显示NUM次，主要用于非交互式模式。
- d SEC：间隔SEC秒显示一次。
- p PID：监控的进程pid。
- u USER：监控的进程用户。

在didi-test服务器上，查看具体的使用实例：

[dc2-user@10-254-158-32 root]$ dd if=/data/iotest of=/dev/null bs=1M &
[1] 16496
[dc2-user@10-254-158-32 root]$ 
[dc2-user@10-254-158-32 root]$ sudo -i 
[root@10-254-158-32 ~]# iotop -u dc2-user

首先在dc2-user下启动dd，在磁盘vdb上产生读流量，然后使用-u指定dc2-user用户, iotop查看该用户的I/O情况如下图：