-
6.内核参数优化
-
总结
=========================================================================
作为运维工程师来讲,最主要的工作保障:企业门户网站、业务系统、应用程序、软件高效稳定的运行,密切关注业务系统、操作系统性能,对业务系统、操作系统实施性能优化,使其发挥最大的性能;
影响Linux服务器、业务网站等性能因素有哪些层面呢?下面我们就一起看看如何调优吧
- 1.操作系统方面
1.内存
2.CPU
3.磁盘I/O
4.网络I/O带宽
- 2.程序应用方面
1.Nginx
2.Mysql
3.Tomcat
4.PHP
5.应用程序代码
-
%user:表示CPU处在用户模式下的时间百分比。
-
%sys:表示CPU处在系统模式下的时间百分比。
-
%iowait:表示CPU等待输入输出完成时间的百分比。
-
swap in:即si,表示虚拟内存的页导入,即从SWAP DISK交换到RAM
-
swap out:即so,表示虚拟内存的页导出,即从RAM交换到SWAP DISK。
-
如图:
- 3.1常用命令
vmstat、sar、iostat、netstat、free、ps、top、iftop
- 3.2常用系统性能组合分析命令
top、uptime 检查系统整体的负载、承受能力;
vmstat、sar、iostat 、top 检测是否是CPU瓶颈;
free、vmstat 检测是否是内存瓶颈;
iostat、iotop 检测是否是磁盘I/O瓶颈;
netstat、iftop 检测是否是网络带宽瓶颈。
4.1 系统整体性能评估
- uptime 命令(查看系统负载)
[root@localhost ~]# uptime
04:15:24 up 2 days, 13:05, 1 user, load average: 0.01, 0.02, 0.05
[root@localhost ~]#
现在时间、系统已经运行了多长时间、目前有多少登录用户、load average:系统在过去的1分钟、5分钟和15分钟内的平均负载。
load average:这三个值的大小一般不能大于系统CPU的个数,例如,本输出中系统有8个CPU,如果load average的三个值长期大于8时,说明CPU很繁忙,负载很高,可能会影响系统性能,但是偶尔大于8时,倒不用担心,一般不会影响系统性能。
[root@localhost ~]# uptime -p #以漂亮的格式显示机器正常运行的时间
up 2 days, 13 hours, 9 minutes
[root@localhost ~]# uptime -s #系统自开始运行时间 年-月-日 小时-分钟-秒
2021-06-08 15:09:34
[root@localhost ~]# uptime -h #显示帮助信息
服务器1: load average: 0.15, 0.08, 0.01 1核
服务器2: load average: 4**.15,** 6**.08,** 6**.01** 1核
服务器3: load average: 10**.15,** 10**.08,** 10**.01** 4核
答案:服务器2
如果服务器的CPU为1核心,则load average中的数字 >=3 负载过高,如果服务器的CPU为4核心,则load
average中的数字 >=12 负载过高。
经验:单核心,1分钟的系统平均负载不要超过3,就可以,这是个经验值
4.2 CPU性能评估
- 1.vmstat 命令(监控系统CPU)
[root@localhost ~]# vmstat
procs -----------memory---------- —swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
1 0 0 3059368 2104 230268 0 0 0 0 28 26 0 0 100 0 0
r列表示运行和等待cpu时间片的进程数,这个值如果长期大于系统CPU的个数,说明CPU不足,需要增加CPU。
b列表示在等待资源的进程数,比如正在等待I/O、或者内存交换等。
us列显示了用户进程消耗的CPU 时间百分比。us的值比较高时,说明用户进程消耗的cpu时间多,但是如果长期大于50%,就需要考虑优化程序或算法。
sy列显示了内核进程消耗的CPU时间百分比。Sy的值较高时,说明内核消耗的CPU资源很多。
根据经验,us+sy的参考值为80%,如果us+sy大于 80%说明可能存在CPU资源不足。
- 2.top命令(实时监控系统CPU)
[root@localhost ~]# top
top - 04:50:43 up 2 days, 13:41, 1 user, load average: 0.10, 0.06, 0.06
Tasks: 102 total, 1 running, 101 sleeping, 0 stopped, 0 zombie
%Cpu(s): 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem : 3865308 total, 2912528 free, 573852 used, 378928 buff/cache
KiB Swap: 524284 total, 524284 free, 0 used. 3028580 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
38151 root 20 0 0 0 0 S 0.3 0.0 0:01.93 kworker/0:0
1 root 20 0 125332 3828 2496 S 0.0 0.1 0:04.48 systemd
2 root 20 0 0 0 0 S 0.0 0.0 0:00.33 kthreadd
top命令是Linux下常用的性能分析工具,能够实时显示系统中各个进程的资源占用状况,常用于服务端性能分析。
第一行数据相当于uptime命令输出。11:00:54是当前时间,up 54 days,23:55 是系统已经运行的时间,6 users表示当前有6个用户在登录,load average:16.32,18.75,21.04分别表示系统一分钟平均负载,5分钟平均负载,15分钟平均负载。
平均负载
平均负载表示的平均活跃进程数,包括正在running的进程数,准备running(就绪态)的进程数,和处于不可中断睡眠状态的进程数。如果平均负载数刚好等于CPU核数,那证明每个核都能得到很好的利用,如果平均负载数大于核数证明系统处于过载的状态,通常认为是超过核数的70%认为是严重过载,需要关注。还需结合1分钟平均负载,5分钟平均负载,15分钟平均负载看负载的趋势,如果1分钟负载比较高,5分钟和15分钟的平均负载都比较低,则说明是瞬间升高,需要观察。如果三个值都很高则需要关注下是否某个进程在疯狂消耗CPU或者有频繁的IO操作,也有可能是系统运行的进程太多,频繁的进程切换导致。比如说上面的演示环境是一台8核的centos机器,证明系统是长期处于过载状态在运行。
第二行的Tasks信息展示的系统运行的整体进程数量和状态信息。102 total 表示系统现在一共有102个用户进程,1 running 1个进程正在处于running状态,101 sleeping 表示101 个进程正处于sleeping状态,0 stopped 表示 0 个进程正处于stopped状态,0 zombie表示 有0个僵尸进程。
第3行的%Cpu(s)表示的是总体CPU使用情况。
us user 表示用户态的CPU时间比例
sy system 表示内核态的CPU时间比例
ni nice 表示运行低优先级进程的CPU时间比例
id idle 表示空闲CPU时间比例
wa iowait 表示处于IO等待的CPU时间比例
hi hard interrupt 表示处理硬中断的CPU时间比例
si soft interrupt 表示处理软中断的CPU时间比例
st steal 表示当前系统运行在虚拟机中的时候,被其他虚拟机占用的CPU时间比例。
第4,5行显示的是系统内存使用情况。单位是KiB。totol 表示总内存,free 表示没使用过的内容,used是已经使用的内存。buff表示用于读写磁盘缓存的内存,cache表示用于读写文件缓存的内存。avail表示可用的应用内存。
第6行开始往后表示的是具体的每个进程状态:
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
PID 进程ID
USER 进程所有者的用户名,例如root
PR 进程调度优先级
NI 进程nice值(优先级),越小的值代表越高的优先级
VIRT 进程使用的虚拟内存
RES 进程使用的物理内存(不包括共享内存)
SHR 进程使用的共享内存
CPU 进程使用的CPU占比
MEM 进程使用的内存占比
TIME 进程启动后到现在所用的全部CPU时间
COMMAND 进程的启动命令(默认只显示二进制,top -c能够显示命令行和启动参数)
4.3 内存性能评估
- free指令监控内存
[root@localhost ~]# free -m
total used free shared buff/cache available
Mem: 3774 560 2844 8 370 2957
Swap: 511 0 511
[root@localhost ~]#
一般有这样一个经验公式:应用程序可用内存/系统物理内存>70%时,表示系统内存资源非常充足,不影响系统性能,应用程序可用内存/系统物理内存<20%时,表示系统内存资源紧缺,需要增加系统内存
20%<应用程序可用内存/系统物理内存<70%时,表示系统内存资源基本能满足应用需求,暂时不影响系统性能。
4.4 磁盘I/O性能评估
- iostat命令
iostat被用于监视系统输入输出设备和CPU的使用情况。它的特点是汇报磁盘活动统计情况,同时也会汇报出CPU使用情况。
[root@localhost ~]# iostat
-bash: iostat: command not found
[root@localhost ~]# yum -y install sysstat
[root@localhost ~]# iostat -d 1 10 #没隔1秒,持续10次
Linux 3.10.0-693.el7.x86_64 (localhost.localdomain) 06/11/2021 x86_64 (2 CPU)
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 0.08 1.36 0.66 304530 146757
scd0 0.00 0.00 0.00 1028 0
dm-0 0.00 0.01 0.00 2228 0
对上面每项的输出解释如下:
kB_read/s表示每秒读取的数据块数。
kB_wrtn/s表示每秒写入的数据块数。
kB_read表示读取的所有块数。
kB_wrtn表示写入的所有块数。
可以通过kB_read/s和kB_wrtn/s的值对磁盘的读写性能有一个基本的了解,如果kB_wrtn/s值很大,表示磁盘的写操作很频繁,可以考虑优化磁盘或者优化程序,如果kB_read/s值很大,表示磁盘直接读取操作很多,可以将读取的数据放入内存中进行操作。
- sar 命令系统运行状态统计
通过sar -d组合,可以对系统的磁盘IO做一个基本的统计,请看下面的一个输出
[root@localhost ~]# sar -d 2 6
Linux 3.10.0-693.el7.x86_64 (localhost.localdomain) 06/11/2021 x86_64 (2 CPU)
05:46:58 AM DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util
05:47:00 AM dev8-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
05:47:00 AM dev11-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
05:47:00 AM dev253-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
需要关注的几个参数含义:
await表示平均每次设备I/O操作的等待时间(以毫秒为单位)。
svctm表示平均每次设备I/O操作的服务时间(以毫秒为单位)。
%util表示一秒中有百分之几的时间用于I/O操作。
对以磁盘IO性能,一般有如下评判标准:
正常情况下svctm应该是小于await值的,而svctm的大小和磁盘性能有关,CPU、内存的负荷也会对svctm值造成影响,过多的请求也会间接的导致svctm值的增加。
await值的大小一般取决与svctm的值和I/O队列长度以及I/O请求模式,如果svctm的值与await很接近,表示几乎没有I/O等待,磁盘性能很好,如果await的值远高于svctm的值,则表示I/O队列等待太长,系统上运行的应用程序将变慢,此时可以通过更换更快的硬盘来解决问题。
%util项的值也是衡量磁盘I/O的一个重要指标,如果%util接近100%,表示磁盘产生的I/O请求太多,I/O系统已经满负荷的在工作,该磁盘可能存在瓶颈。长期下去,势必影响系统的性能,可以通过优化程序或者通过更换更高、更快的磁盘来解决此问题。
4.5 网络性能评估
- 常用命令
通过ping命令 检测网络的连通性;
通过netstat –i 组合检测网络接口状况;
通过netstat –r组合 检测系统的路由表信息;
通过sar -n组合 显示系统的网络运行状态;
通过iftop -i eth0 查看网卡流量;
fping 检测主机是否存在
- iftop 命令
iftop是一款实时流量监控工具,监控TCP/IP连接等,缺点就是无报表功能。必须以root身份才能运行
[root@localhost ~]# yum -y install iftop
[root@localhost ~]# iftop #默认监控第一块网卡的流量
[root@localhost ~]# iftop -i ens33 #指定监控ens33网卡流量
[root@localhost ~]# iftop -n #直接显示IP, 不进行DNS反解析
- fping 命令
检测192.168.1.1到192.168.1.10之间的主机是否存在:
[root@localhost ~]# fping -a -g 192.168.1.1 192.168.1.10
检测192.168.1.1/24的主机是否存在:
[root@localhost ~]# fping -a -g 192.168.1.1/24
将IP列表放在一个文件里面,通过读取文件来检测列表里的主机是否存在:
[root@localhost ~]# fping -a -f ip.txt
检测www.baidu.com是否存在:
[root@localhost ~]# fping www.baidu.com
5.1找出系统中使用CPU最多的进程
- 方法1
运行top , 找出使用CPU最多的进程 ,按大写的P,可以按CPU使用率来排序显示
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Linux运维工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Linux运维全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Linux运维知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip1024b (备注Linux运维获取)
为了做好运维面试路上的助攻手,特整理了上百道 【运维技术栈面试题集锦】 ,让你面试不慌心不跳,高薪offer怀里抱!
这次整理的面试题,小到shell、MySQL,大到K8s等云原生技术栈,不仅适合运维新人入行面试需要,还适用于想提升进阶跳槽加薪的运维朋友。
本份面试集锦涵盖了
- 174 道运维工程师面试题
- 128道k8s面试题
- 108道shell脚本面试题
- 200道Linux面试题
- 51道docker面试题
- 35道Jenkis面试题
- 78道MongoDB面试题
- 17道ansible面试题
- 60道dubbo面试题
- 53道kafka面试
- 18道mysql面试题
- 40道nginx面试题
- 77道redis面试题
- 28道zookeeper
总计 1000+ 道面试题, 内容 又全含金量又高
- 174道运维工程师面试题
1、什么是运维?
2、在工作中,运维人员经常需要跟运营人员打交道,请问运营人员是做什么工作的?
3、现在给你三百台服务器,你怎么对他们进行管理?
4、简述raid0 raid1raid5二种工作模式的工作原理及特点
5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?
6、Squid、Varinsh和Nginx有什么区别,工作中你怎么选择?
7、Tomcat和Resin有什么区别,工作中你怎么选择?
8、什么是中间件?什么是jdk?
9、讲述一下Tomcat8005、8009、8080三个端口的含义?
10、什么叫CDN?
11、什么叫网站灰度发布?
12、简述DNS进行域名解析的过程?
13、RabbitMQ是什么东西?
14、讲一下Keepalived的工作原理?
15、讲述一下LVS三种模式的工作过程?
16、mysql的innodb如何定位锁问题,mysql如何减少主从复制延迟?
17、如何重置mysql root密码?
一个人可以走的很快,但一群人才能走的更远。如果你从事以下工作或对以下感兴趣,欢迎戳这里加入程序员的圈子,让我们一起学习成长!
AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算
5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?
6、Squid、Varinsh和Nginx有什么区别,工作中你怎么选择?
7、Tomcat和Resin有什么区别,工作中你怎么选择?
8、什么是中间件?什么是jdk?
9、讲述一下Tomcat8005、8009、8080三个端口的含义?
10、什么叫CDN?
11、什么叫网站灰度发布?
12、简述DNS进行域名解析的过程?
13、RabbitMQ是什么东西?
14、讲一下Keepalived的工作原理?
15、讲述一下LVS三种模式的工作过程?
16、mysql的innodb如何定位锁问题,mysql如何减少主从复制延迟?
17、如何重置mysql root密码?
一个人可以走的很快,但一群人才能走的更远。如果你从事以下工作或对以下感兴趣,欢迎戳这里加入程序员的圈子,让我们一起学习成长!
AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算