30个Linux性能问题诊断思路

1. 系统负载监控：
   • 使用uptime查看当前系统运行时间、在线用户数以及1/5/15分钟内的系统负载平均值。

• 使用top或htop实时查看系统整体资源使用情况，包括CPU、内存和各个进程占用状况。

2. CPU分析：

   • 使用vmstat检查CPU使用率、上下文切换和进程状态变化。
   • 使用mpstat按CPU核分别查看CPU利用率。
   • 运行pidstat追踪个别进程的CPU消耗。

3. 内存检测：

   • 使用free -m或free -h查看内存使用情况，包括总内存、已用内存、空闲内存和缓存。
   • 使用vmstat查看内存交换活动（如s和swpd列）。

4. I/O性能分析：

   • 使用iostat监视磁盘I/O统计数据。
   • 运行iotop查看实时磁盘I/O操作。
   • 使用pidstat -d查看进程级别的磁盘I/O活动。

5. 网络流量监测：

   • 使用netstat或ss查看网络连接状态和带宽使用情况。
   • 使用iftop或nethogs实时监控网络流量。

6. 进程分析：

   • 使用ps或pgrep查找特定进程及其资源消耗。
   • 使用strace跟踪进程的系统调用，定位可能的阻塞操作。
   • 通过lsof查看进程打开的文件描述符和占用的资源。

7. 日志分析：

   • 查阅系统日志/var/log/messages或journalctl，寻找异常记录。
   • 分析特定服务的日志文件，如Apache、MySQL等。

8. 文件系统与inode使用：

   • 使用df -h查看磁盘空间使用情况。
   • 使用du -sh *检查目录大小。
   • 使用inodes工具查看inode使用情况。

9. 系统限制检查：

   • 检查/etc/security/limits.conf配置文件，查看是否有资源限制导致问题。
   • 查看系统最大打开文件数限制（ulimit -n）。

10. 内核调优：

    • 调整内核参数，比如sysctl命令调整系统参数。

11. 查看系统瓶颈：

    • 使用perf工具进行性能剖析。
    • 使用dmesg查看内核警告和错误信息。

12. 进程调度策略：

    • 使用chrt或nice、renice改变进程优先级和调度策略。

13. 内存泄漏检查：

    • 使用valgrind或massif等工具检测内存泄漏。

14. 系统吞吐量与延迟测量：

    • 使用ping、traceroute测试网络延迟。
    • 使用ab（Apache Benchmark）或其他基准测试工具衡量系统吞吐量。

15. 虚拟内存及SWAP分区检查：

    • 当内存紧张时，检查SWAP分区使用情况，并考虑增大SWAP或优化内存使用。

16. 定时任务检查：

    • 检查crontab列表中是否存在高负载的定时任务。

17. 服务配置审计：

    • 审查服务配置文件，如数据库配置、Web服务器配置等，确保配置合理。

18. 内核抢占与并发问题：

    • 使用irqbalance平衡中断请求，避免单一CPU过载。
    • 检查锁争用，如通过perf lock或lockstat工具。

19. TCP/IP栈检查：

    • 使用tcpdump或Wireshark抓包分析网络层问题。

20. 系统调用跟踪：

    • 使用systemtap或bcc/eBPF工具进行深入的内核和用户态函数调用跟踪。

21. 容器与虚拟机性能分析：

    • 在容器或虚拟机环境中，使用相应的性能分析工具，如kubectl top或virt-top。

22. 系统安全审计：

    • 使用auditd等工具检查是否存在恶意或意外的安全事件影响系统性能。

23. 磁盘I/O排队深度检查：

    • 使用iostat -xd或blktrace分析磁盘I/O操作队列深度。

24. 分布式系统中的性能同步问题：

    • 对于分布式系统，检查Zookeeper、etcd等协调服务性能和一致性问题。

25. 数据库性能优化：

    • 对于SQL数据库，执行EXPLAIN分析SQL查询性能，查看缓存命中率、索引使用等。

26. 缓存系统分析：

    • 如果使用Redis、Memcached等缓存系统，检查缓存命中率和容量瓶颈。

27. 服务端口监听与连接数：

    • 使用netstat -ntpl查看服务端口的监听状态和已建立的连接数量。

28. 异步I/O和事件驱动编程框架分析：

    • 对于Node.js等异步应用，使用相应的调试工具分析事件循环和回调函数性能。

29. 资源竞争与锁分析：

    • 对多线程或多进程应用，分析是否存在资源竞争问题，例如通过pthread_mutex_lock等API调用分析。

30. 长期性能趋势分析：

    • 使用系统监控工具（如Prometheus、Grafana）收集并分析长期性能指标趋势，发现周期性或渐进式性能下降问题。

以上列举的诊断思路并不是一次性全部执行，而是根据实际遇到的问题有针对性地选择合适的工具和方法。通过综合分析，才能找到造成性能问题的根本原因，并针对性地提出解决方案。

这里提供几个具体的Linux性能诊断示例：

1. CPU使用率过高问题诊断：

# 实时查看所有CPU的使用情况
mpstat

# 查找CPU使用率最高的前N个进程
top -o %CPU

# 或者使用htop进行图形化展示
htop

# 使用pidstat追踪某个PID的CPU使用情况
pidstat -p <PID>

# 使用 perf 工具对进程进行采样分析
perf record -p <PID>
perf report

2. 内存泄露检查：

# 使用 atop 工具持续监控内存使用情况
atop

# 使用 pmap 查看指定进程占用的内存详情
pmap <PID>

# 使用 Valgrind 工具检测内存泄露
valgrind --leak-check=full --show-leak-kinds=all ./your_program

3. I/O性能问题诊断：

# 显示磁盘统计信息，包括每秒的读写次数、读写速度等
iostat -dxk 5 # 每5秒输出一次

# 查看哪个进程正在大量读写磁盘
iotop

# 使用 strace 跟踪特定进程的文件系统调用
strace -p <PID> -e trace=file

4. 网络性能问题诊断：

# 查看网络连接状态
netstat -tupan

# 实时监控网络流量
iftop

# 抓取网络包分析网络通信细节
tcpdump -i any -n port 80 # 捕获所有经过端口80的数据包

5. 系统性能长期监控与分析：

# 安装并配置 sysstat 包以定期记录系统性能数据
sudo apt-get install sysstat
vi /etc/default/sysstat # 修改SA1和SA2参数以设定数据收集频率

# 查看收集的历史性能数据
sar -u # 查看CPU使用率
sar -b # 查看块设备（磁盘）IO统计
sar -n DEV # 查看网络设备活动统计

以上只是简单示例，实际性能问题诊断过程中可能需要结合多种工具和命令，深入了解问题所在并进行相应优化。
6. 文件系统性能问题诊断：

# 检查磁盘I/O统计，包括读写操作的总量、时间等
iostat -dx 5

# 检查特定目录或文件的磁盘空间使用情况
du -sh /path/to/directory

# 检查文件系统挂载选项，如是否开启了noatime或nodiratime等提高性能的选项
mount | grep /mount/point

# 使用 fio 工具进行文件系统性能测试
fio --name=test --rw=randread --bs=4k --iodepth=64 --size=1G --directory=/mnt/test

# 检查文件系统inode使用情况
df -i
find . -xdev -type f | wc -l # 计算当前目录及其子目录下的文件总数

7. 系统瓶颈检查：

# 使用 perf 工具进行性能剖析
perf top # 查看实时性能热点
perf record -g -p <PID> sleep 60; perf report -g # 收集并分析指定进程的CPU调用栈

# 使用 pidstat 查看上下文切换情况
pidstat -w # 查看系统上下文切换情况
pidstat -w -p <PID> # 查看特定进程的上下文切换情况

8. MySQL数据库性能问题诊断：

# 查看MySQL服务器的整体性能
mysqladmin extended-status

# 查看MySQL当前活跃的线程
SHOW FULL PROCESSLIST;

# 分析慢查询日志
pt-query-digest slow_query.log

# 检查索引使用情况和优化建议
EXPLAIN SELECT ... FROM ... WHERE ...;

9. 系统日志分析：

# 查看系统日志，找出可能导致性能问题的异常消息
less +F /var/log/messages
journalctl -f # 对于systemd系统

# 对于应用程序日志，如Apache/Nginx/PHP等，根据具体配置路径查看其访问日志和错误日志
tail -f /var/log/apache2/access.log

10. 进程锁争用分析：

# 使用 perf 工具查看spinlocks统计
perf stat -e sched:sched_spin_unlock -a sleep 60

# 对于内核锁，可以尝试使用lockdep工具启用锁依赖检查（需要在编译内核时开启）
echo 1 >/proc/sys/kernel/debug/lockdep

# 或者在运行时动态检查特定锁的持有者
flock -w 0 /path/to/file.lock bash -c 'echo $$; ps'

请根据具体情况进行调整和选用合适的工具进行排查，解决性能问题通常需要结合多种手段和深入理解系统工作原理。
11. 虚拟内存及交换空间使用分析：

# 查看系统总的内存和交换空间使用情况
free -h

# 查看哪些进程占用了大量的虚拟内存
sort -nk4 /proc/*/status | tail -n 10 | awk '/VmSize:/ {print $2, $NF}'

# 检查交换空间使用情况
swapon -s

# 如有必要，可以临时增加交换空间（假设创建一个名为'swapfile'的交换文件）
dd if=/dev/zero of=/swapfile bs=1M count=1024
mkswap /swapfile
swapon /swapfile

12. 系统调用追踪与分析：

# 使用 strace 跟踪特定进程的所有系统调用
strace -p <PID>

# 或者只追踪某种类型的系统调用，如文件操作
strace -p <PID> -e trace=file

# 使用 systemtap 进行更深入的内核级跟踪
stap -e 'probe begin { log("Start tracing...") } probe vfs.read { printf("Process %d is reading file: %s\n", pid(), name) }' -c

13. 进程调度与优先级调整：

# 查看当前进程的优先级
ps -eo pid,ni,comm

# 调整进程优先级（nice值），值越小优先级越高
renice -n <priority> -p <PID>

# 设置进程为实时优先级（只有root权限可以）
chrt -r <priority> <PID>

14. 高并发场景下线程同步问题诊断：

# 使用 perf top 观察锁等待时间
perf top -e block:block_rq_insert

# 对于Java应用，可以使用JDK自带的jstack工具查看线程堆栈，检查是否有死锁等问题
jstack <PID>

15. 针对Web服务器性能诊断：

# Apache HTTP Server性能分析
ab -n 1000 -c 100 http://localhost/

# Nginx性能诊断，查看access_log和error_log，或启用ngx_http_stub_status_module模块获取状态信息
curl http://localhost/server_status

16. Docker容器环境下的性能诊断：

# 查看容器内部资源使用情况
docker stats <container_name>

# 进入容器内部执行常规的性能诊断命令
docker exec -it <container_name> bash

以上都是Linux性能问题诊断的一些常见步骤和工具，根据实际场景选择合适的方法进行分析和优化。

python推荐学习汇总连接：
50个开发必备的Python经典脚本(1-10)

50个开发必备的Python经典脚本(11-20)

50个开发必备的Python经典脚本(21-30)

50个开发必备的Python经典脚本(31-40)

50个开发必备的Python经典脚本(41-50)
————————————————

​最后我们放松一下眼睛