Linux性能优化实战学习笔记：第二十六讲

最新推荐文章于 2022-01-18 15:58:06 发布
最新推荐文章于 2022-01-18 15:58:06 发布
阅读量279 收藏 1
点赞数
分类专栏： Linux 文章标签： linux
原文链接：https://www.cnblogs.com/luoahong/p/10885269.html
版权

Linux性能优化实战学习笔记：第二十六讲

一、案例环境描述

1、环境准备

2CPU,4GB内存

预先安装docker sysstat工具

2、温馨提示


案例中 Python 应用的核心逻辑比较简单，你可能一眼就能看出问题，但实际生产环境中的源码就复杂多了。所以，
我依旧建议，操作之前别看源码，避免先入为主，要把它当成一个黑盒来分析。这样 你可以更好把握住，怎么从系统的资源使用问题出发，分析出瓶颈
所在的应用，以及瓶颈在应用中大概的位置

3、应用环境

1、运行目标应用

?

1

docker run -v /tmp:/tmp --name=app -itd feisky/logapp

2、确认应用正常启动

?

1

2

ps -ef | grep /app.py

root     18940 18921 73 14:41 pts/0    00:00:02 python /app.py

二、故障现象

1、发现故障

?

1

2

3

4

5

6

7

8

9

10

11

12

# 按 1 切换到每个 CPU 的使用情况

$ top

top - 14:43:43 up 1 day,  1:39,  2 users,  load average: 2.48, 1.09, 0.63

Tasks: 130 total,   2 running,  74 sleeping,   0 stopped,   0 zombie

%Cpu0  :  0.7 us,  6.0 sy,  0.0 ni,  0.7 id, 92.7 wa,  0.0 hi,  0.0 si,  0.0 st

%Cpu1  :  0.0 us,  0.3 sy,  0.0 ni, 92.3 id,  7.3 wa,  0.0 hi,  0.0 si,  0.0 st

KiB Mem :  8169308 total,   747684 free,   741336 used,  6680288 buff/cache

KiB Swap:        0 total,        0 free,        0 used.  7113124 avail Mem

 

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND

18940 root      20   0  656108 355740   5236 R   6.3  4.4   0:12.56 python

1312 root      20   0  236532  24116   9648 S   0.3  0.3   9:29.80 python3

千万记得一定要用机械硬盘

2、性能现象

三、分析过程

1、iowait超过了90%分析

查看I/O使用情况

?

1

2

3

4

5

6

# -d 表示显示 I/O 性能指标，-x 表示显示扩展统计（即所有 I/O 指标）

$ iostat -x -d 1

Device            r/s     w/s     rkB/s     wkB/s   rrqm/s   wrqm/s  %rrqm  %wrqm r_await w_await aqu-sz rareq-sz wareq-sz  svctm  %util

loop0            0.00    0.00      0.00      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     0.00   0.00   0.00

sdb              0.00    0.00      0.00      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     0.00   0.00   0.00

sda              0.00   64.00      0.00  32768.00     0.00     0.00   0.00   0.00    0.00 7270.44 1102.18     0.00   512.00  15.50  99.20

实际测试截图

观测结果分析

2、pidstat分析python进程

1、观察进程I/O使用情况

?

1

2

3

4

5

6

7

8

9

pidstat -d 1

 

15:08:35      UID       PID   kB_rd/s   kB_wr/s kB_ccwr/s iodelay  Command

15:08:36        0     18940      0.00  45816.00      0.00      96  python

 

15:08:36      UID       PID   kB_rd/s   kB_wr/s kB_ccwr/s iodelay  Command

15:08:37        0       354      0.00      0.00      0.00     350  jbd2/sda1-8

15:08:37        0     18940      0.00  46000.00      0.00      96  python

15:08:37        0     20065      0.00      0.00      0.00    1503  kworker/u4:2

2、实际测试截图

 3、pidstat结果观测分析

实际测试说明

1、io使用没有达到90%，而实际测试是14.9(最高)

2、每秒的写请求是64，而实际测试是85

3、写大小32MB，而实际测试是107MB

4、请求队列是1100而实际测试是23.93

3、strace分析python进程调用

1、strace查看指定PID调用情况

?

1

2

3

4

5

6

7

8

9

10

11

12

strace -p 18940

strace: Process 18940 attached

...

mmap(NULL, 314576896, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f0f7aee9000

mmap(NULL, 314576896, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f0f682e8000

write(3, "2018-12-05 15:23:01,709 - __main"..., 314572844

) = 314572844

munmap(0x7f0f682e8000, 314576896)       = 0

write(3, "\n", 1)                       = 1

munmap(0x7f0f7aee9000, 314576896)       = 0

close(3)                                = 0

stat("/tmp/logtest.txt.1", {st_mode=S_IFREG|0644, st_size=943718535, ...}) = 0

2、实际测试截图：机械硬盘 centos

3、strace结果观测分析

4、lsof查看python进程打开了那些文件

1、查看进程打开了那些文件

?

1

2

3

4

5

6

7

lsof -p 18940

COMMAND   PID USER   FD   TYPE DEVICE  SIZE/OFF    NODE NAME

python  18940 root  cwd    DIR   0,50      4096 1549389 /

python  18940 root  rtd    DIR   0,50      4096 1549389 /

…

python  18940 root    2u   CHR  136,0       0t0       3 /dev/pts/0

python  18940 root    3w   REG    8,1 117944320     303 /tmp/logtest.txt

2、实际测试截图

3、lsof输出观测分析

3、查看源代码

?

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

# 拷贝案例应用源代码到当前目录

$ docker cp app:/app.py .

 

# 查看案例应用的源代码

$ cat app.py

 

logger = logging.getLogger(__name__)

logger.setLevel(level=logging.INFO)

rHandler = RotatingFileHandler("/tmp/logtest.txt", maxBytes=1024 * 1024 * 1024, backupCount=1)

rHandler.setLevel(logging.INFO)

 

def write_log(size):

  '''Write logs to file'''

  message = get_message(size)

  while True:

    logger.info(message)

    time.sleep(0.1)

 

if __name__ == '__main__':

  msg_size = 300 * 1024 * 1024

  write_log(msg_size)

　　继续查看源码

?

1

2

3

4

5

6

7

8

9

10

def set_logging_info(signal_num, frame):

  '''Set loging level to INFO when receives SIGUSR1'''

  logger.setLevel(logging.INFO)

 

def set_logging_warning(signal_num, frame):

  '''Set loging level to WARNING when receives SIGUSR2'''

  logger.setLevel(logging.WARNING)

 

signal.signal(signal.SIGUSR1, set_logging_info)

signal.signal(signal.SIGUSR2, set_logging_warning)

分析这个源码，我们发现，它的日志路径是/tmp/logtest.txt、默认记录 INFO 级别以上的所有日志，而且每次写日志的大小是 300MB。这跟我们上面的分析结果是一致的

四、解决方案

1、运行kill命令给进程发SIGUSR2 信号

?

1

kill -SIGUSR2 18940

2、再执行top和iostat观察

top

?

1

2

3

top

...

%Cpu(s):  0.3 us,  0.2 sy,  0.0 ni, 99.5 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st

iowat

?

1

2

3

4

5

iostat -d -x 1

Device            r/s     w/s     rkB/s     wkB/s   rrqm/s   wrqm/s  %rrqm  %wrqm r_await w_await aqu-sz rareq-sz wareq-sz  svctm  %util

loop0            0.00    0.00      0.00      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     0.00   0.00   0.00

sdb              0.00    0.00      0.00      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     0.00   0.00   0.00

sda              0.00    0.00      0.00      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     0.00   0.00   0.00

到这里，我们不仅定位了狂打日志的应用程序，并通过调用高日志级别的方法，完美解决了I/O的性能瓶颈

五、小结

日志，是了解应用程序内部运行情况、最常用、也最高效的工具、无论是操作系统、还是应用程序、都会记录大量的运行日志，以便时候查看历史记录，

这些日志一般按照不同的级别来开启，比如，开发环境通常打开调式级别的日志，而线上环境则只记录警告和错误日志

 

在排查应用程序问题时，我们可以能需要，在线上环境临时开启应用程序的调试日志，有时候，事后一不小心忘了调回去，没把线上的日志调高到警告级别，

可能会导致cpu使用率、磁盘I/O等一系列的性能问题，严重时，甚至会影响同一台服务器上运行的其他应用程序

 

今后，在碰到这种“狂打日志”的场景时，你可以用iostat、strace、losf等工具来定位狂打日志的进程，找出相应的日志文件，再通过应用程序接口

调整日志界别来解决问题

作者：罗阿红 出处：http://www.cnblogs.com/luoahong/ 本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接。

诸葛钢铁云
关注
专栏目录
Linux性能优化实战 笔记
owenzhang的博客
10-22 926
​小知识，大挑战！本文正在参与“程序员必备小知识”创作活动。 02 | 基础篇：到底应该怎么理解“平均负载”？ 平均负载是指单位时间内，系统处于可运行状态和不可中断状态的平均进程数，也就是平均活跃进程数，它和 CPU 使用率并没有直接关系。 可运行状态的进程，是指正在使用 CPU 或者正在等待 CPU 的进程，也就是我们常用 ps 命令看到的，处于 R 状态(Running 或 Runn...
三十八、Linux性能优化实战学习笔记-案例篇：怎么使用 tcpdump 和 Wireshark 分析网络流量？
MyySophia的博客
01-26 1062
tcpdump 和 Wireshark 就是最常用的网络抓包和分析工具，更是分析网络性能必不可少的利器。 tcpdump 仅支持命令行格式使用，常用在服务器中抓取和分析网络包。 Wireshark 除了可以抓包外，还提供了强大的图形界面和汇总分析工具，在分析复杂的网络情景时，尤为简单和实用。 案例准备 ...
新浪微博php7升级实践,PHP7线上system time飙高问题
weixin_32589387的博客
03-12 102
最近刚刚全量上线PHP7，经过一晚发现个别机器的PHP-FPM占用CPU很高，整机top查看system time非常高。通过strace查看PHP-FPM的系统调用发现存在频繁mmap/munmap 2MB内存的现象：12345mmap(NULL,2097152,PROT_READ|PROT_WRITE,MAP_PRIVATE|MAP_ANONYMOUS,-1,0)=0x7f398a50300...
strace命令学习
后台开发
03-16 1万+
linux下strace命令是强大，今天来学习一下。利用strace命令可以追踪系统调用和信号值。 学习用的测试代码如下： [root@localhost mapan]# cat test.cpp #include <iostream> using namespace std; int main() { int a; cin >> a; ...
通过命令iostat，iotop查看Linux系统IO性能，信息指标分析详解
11-23 3184
一 、前言 一款Linux下的io性能监控软件，用于统计CPU使用情况和块设备I/O情况，统计时间为上次执行到目前。iostat可以给我们提供丰富的IO状态数据 二 、命令参数 iostat [选项] [<时间间隔>] [<次数>] -c： 显示CPU使用情况 -d： 显示磁盘使用情况 -N： 显示磁盘阵列(LVM) 信息 -n： 显示NFS 使用情况 -k： 以 KB 为单位显示 -m： 以 M 为单位显示 -t： 报告每秒向终端读取和写入的字符数和CPU的信息 -V： 显示版本
二十六、案例篇：如何找出狂打日志的“内鬼”？
MyySophia的博客
01-18 1374
目录 环境准备 启动项目 性能指标收集 查看Top CPU 内存 初步结论 IO 查看iostat 分析高I/O相关进程 pidstat ​ strace查看系统调用 lsof确定进程和文件的关系 ​ 查看源代码分析问题 利用SIGUSR动态调整日志 ​给python应用发送SIGUSR2 停止案例 环境准备 Centos7 2c2g 虚拟机 安装docker 安装sysstat (这个包中包含各种stat) 启动项目 启动python项目 [r..
linux性能评估-磁盘io概念实战篇
weixin_34383618的博客
07-01 874
1.文件系统和磁盘的 IO 问题的分析（如何找出狂打日志的“内鬼”？） 2.磁盘IO延迟很高,该怎么办？ 3.当数据库出现性能问题时，该如何分析和定位它的瓶颈呢？ 4.Redis响应严重延迟，该如何分析和定位？ 1.文件系统和磁盘的 IO 问题的分析（如何找出狂打日志的“内鬼”？） 预先安装 docker、sysstat 等工具，如 apt install docker...
Java 学习笔记：第一章 Java入门
人在囧途的博客
03-27 2098
Java 学习笔记：第一章 Java入门1.1 计算机语言发展史以及未来方向1.2 常见编程语言介绍C语言C++ 语言Java语言PHP 语言Object-C和Swift 语言JavaScriptPythonC# 语言Fortran 语言Basic语言COBOL语言Pascal语言1.3.1 Java 发展简史1.3.2 Java的核心优势1.3.3 Java 各版本的含义1.3.4 Java 的...
C语言从入门到项目实战学习笔记
helloworld9998的博客
04-26 1664
C语言概述数据类型与运算简单程序设计思想程序结构之循环函数真的会数组么终极进化之指针结构体文件操作进阶提高篇项目篇 概述 这里针对《C语言从入门到项目实战》和《C和指针》这两本整理出C的学习笔记，以备以后知识点复习，顺便给入门的小伙伴一个学习参考。 C语言特性 环境搭建：https://editor.csdn.net/md/?articleId=103575384 输入输出 数据类型与运算 简...
Linux运维学习笔记之三十一：监控利器Nagios实战
放飞的心灵－记录学习的点点滴滴
05-25 4620
第四十二章 监控利器Nagios实战一、Nagios介绍1、哪些内容需要监控呢？（1）本地资源a、负载：uptime；b、CPU：top,sar，cpu温度；c、磁盘：df；d、内存：free；e、IO：iostat；f、RAIDg、passwd文件的变化(本地所有文件指纹识别)。（2）网络服务端口、URL、ping丢包、进程数、IDC网络流量（3）其他设备路由器、交换机端口流量、打印机、wind...
Linux性能优化实战：内存泄漏了，我该如何定位和处理？（18）
weixin_30235225的博客
09-03 276
一、内存的分配和回收 1、管理内存的过程中，也很容易发生各种各样的“事故”， 对应用程序来说，动态内存的分配和回收，是既核心又复杂的一的一个逻辑功能模块。管理内存的过程中，也很容易发生各种各样的“事故”， 比如，没正确回收分配后的内存，导致了泄漏。访问的是已分配内存边界外的地址，导致程序异常退出，等等。 你在程序中定义了一个局部变量，比如一个整数数组 int data[64] ...
[docker]一些经常或不经常用到的镜像启动方法-一些常用的docker启动方式
weixin_34026484的博客
11-12 2526
一些经常或不经常用到的镜像启动方法 设置容器的TZ另一种办法 参考: https://github.com/spujadas/elk-docker/blob/master/start.sh ## override default time zone (Etc/UTC) if TZ variable is set if [ ! -z "$TZ" ]; then ln -snf /usr/sha...
docker的数据管理
freedom00001的博客
10-22 143
docker对数据的管理有一套独特的方法。 Data Volume Data Volume（数据卷），本质上还是宿主机文件系统中的目录或文件，通过类似mount的操作，是数据卷可以在容器之间共享使用，并且对数据卷的更改会马上生效，对数据卷的修改不会影响镜像，数据卷会持久化。 Data Volume有以下特点： Data Volume是目录或文件，而不是磁盘 容器可以对数据卷中的数据进行读写 即使...
Docker 落地踩过的坑
技术杂谈
11-16 7029
本文来自作者 大白菜 在 GitChat 上分享「Docker 落地踩过的坑」，「阅读原文」查看交流实录 「文末高能」 编辑 | 嘉仔 前言 接触 Docker 是在大四毕业设计中，当时选的课题是：基于 Docker 的自动化运维研究。也很幸运，毕业从事的工作也是 Docker 相关的工作。第一份工作是在杭州铜板街，杭州的朋友可能听过，在那里工作了近 2 年时间。主要的
Linux 内存映射函数 mmap（）函数详解
热门推荐
yangle4695的博客
08-07 11万+
mmap将一个文件或者其它对象映射进内存。文件被映射到多个页上，如果文件的大小不是所有页的大小之和，最后一个页不被使用的空间将会清零。mmap在用户空间映射调用系统中作用很大。 头文件 函数原型 void* mmap(void* start,size_t length,int prot,int flags,int fd,off_t offset); int munmap(void* st
《Linux性能优化实战》笔记（十五）—— 磁盘IO的工作原理
Hehuyi_In的博客
09-30 1986
磁盘 磁盘是可以持久化存储的设备，根据存储介质的不同，常见磁盘可以分为两类：机械磁盘和 固态磁盘。 第一类，机械磁盘，也称为硬盘驱动器（Hard Disk Driver），通常缩写为 HDD。机械磁 盘主要由盘片和读写磁头组成，数据就存储在盘片的环状磁道中。在读写数据前，需要移动 读写磁头，定位到数据所在的磁道，然后才能访问数据。 显然，如果 I/O 请求刚好连续，那就不需要磁道寻址，自然可以获得最佳性能。这其实就 是我们熟悉的，连续 I/O 的工作原理。与之相对应的，当然就是随机 I/O，它需要不停地移
性能：磁盘读写原理、分类与性能指标
OceanStar的博客
11-04 7170
这三个指标其实是相互关联和影响的，但是我们一般还是分块来衡量。请求数，这是衡量存储性能的主要指标之一。，通常以MB/s或者GB/s为单位。另外，有些存储系统会因为其，而获得更好的IO性能。比如吞吐率会升高，平均访问延迟会降低。这是因为存储系统的IO队列处理机制，可以对IO进行重新排序，从而获得更好的性能。比如，它可以合并几个相邻的IO、把随机IO重新排序为顺序IO等。
sqlplus /nolog 无响应
文档搬运工
05-26 2318
之前碰到一个系统，使用sqlplus /nolog命令，进去后。无响应。使用strace -o /tmp/trace.txt sqlplus /nolog 后，也是卡住了。后来发现，$ORACLE_HOME/sqlplus/admin/glogin.sql里面写了一些东西。清理后，正常了。原来的写法-- 容易导致sqlplus /nolog卡住-- Copyright (c) 1988, 2011...
mmap
岁月留痕
03-24 3317
mmap可以把磁盘文件的一部分直接映射到内存，这样文件中的位置直接就有对应的内存地址，对文件的读写可以直接用指针来做而不需要read/write函数。#include void *mmap(void *addr, size_t len, int prot, int flag, int filedes, off_t off); int munmap(void *addr, size_t len);该函数各参数的作用图示如下：图 28.4. mmap函数如果addr参数为NULL，内核会自己在进程
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值