系统查问题的方法
线上经常出现的就是几大特点:网络为何丢包,load为何飙升,cpu利用率为何很高等。问题大类不多,但是要对应的细节却是很多,这里仅写基本的调查第一要素。
其实,自身企业的监控是非常重要的,粒度和纬度的控制决定了后面的优化点和思路。
一、用proc
proc文件系统是主要用来查看排查进程出现的相关问题。数据由内核产生,应用层在/proc/下进行查看。如果监控不健全的情况下,可以不用完全依赖内核本身,我们可以自行添加模块,并在各个需要做监控的地方加入探测点,用法同systemtap一样。但是性能问题需要考虑
二、用top
top可以查看cpu利用率、load高低、swap/内存等,但是此类方法需要考虑一点统计方式是否可信赖,是否足够精确。就像法律里面一样只能做依据,但是不能做证据。
三、用perf
- perf监听事件。 -e表示需要查看的寄存器事件和掩码,-C表示查看的core,-i表示时间粒度。
perf stat -e cpu/event=0xC7,umask=0x3F/ -C 16-31,48-63 -I 1000
- 查看重要的instruction (IPS)等
perf stat -e cycles,instructions
- 查延迟
perf sched record sleep 10
perf sched latency | grep <进程名字>
四、用cgroup
cgroup查vm系列等问题有效,关注cpu绑定的核,是否有影响,batch进程和线上进程是否共享。
- 限制某进程运行在16-31,48-63的core上。
echo 16-31,48-63 > cpuset.cpus