性能问题排查

1.硬件

1.1.CPU

当用户cpu(us)占用长期超过50%,那么我们就该考虑优化程序算法或者进⾏升级cpu;

如果近段时间cpu突然异常升高,应该先排查导致升高的原因;

使用vmstat命令,Procs中r(运行中线程)长期大于1。

如果r经常⼤于4,id经常少于40,表示cpu的负荷很重。

如果bi,bo⻓期不等于0,表示内存不⾜。

如果disk经常不等于0,且在b中的队列⼤于3,表示io性能不好

1.2.内存

当内存超过服务器内存占用长期超过80%的时候应该考虑升级内存。

1.3.IO

占用IO过高,可以做以下考虑

  1. 记录日志太多
    1. 日志打印的内容是否合理
    2. 日志级别是否合理
    3. 考虑异步写日志(一般可以解决CPU锯齿波动),为减少磁 盘IO操作,将日志写如内存分区;但日志量太大,很容易将内存 写满,再考虑将日志进行压缩。
  2. 磁盘占满
  3. 数据库连接数超限制,导致sleep比较多,sleep任务太多的处理
  4. 数据库IO过高,查询量大,可以进行读写分离(增加读库)或者分库操作,减小磁盘压力,调优一些buffer参数以降低IO写的频率
  5. 磁盘IO过高是由于读写文件导致的,可以通过raid来减轻压力
  6. 磁盘本身性能不足,升级磁盘

1.4.网络

可以通过本地ping服务器端口来查看网络延迟,或者使用curl模拟请求来查看服务的相应时间。

1.5.工具

1.5.1.top

Linux中的top命令显示系统上正在运⾏的进程。它是系统管理员最重要的⼯具之⼀。被⼴泛⽤于监视服务器的负载。在本篇中,我们会探索top命令的细节。top命令是⼀个交互命令。在运⾏top的时候还可以运⾏很多命令。

使用方式

显示进程信息

top

显示指定的进程信息

 top -p 139
//显示进程号为139的进程信息,CPU、内存占⽤率等

显示线程信息(线程信息可用于定位发生问题的具体位置)

shift + h 或 H
//显示线程信息,CPU、内存占⽤率等,可结合jstack堆栈日志,定位发生问题的具体位置

示例⼀:

Top命令输出,默认运⾏时,top命令会显示如下输出:

在这里插入图片描述

前⼏⾏⽔平显示了不同系统参数的概括,接下来是进程和它们在列中的属性。

1)系统运⾏时间和平均负载:
在这里插入图片描述

top命令的顶部显示与uptime命令相似的输出。

这些字段显示:

  • 当前时间
  • 系统已运⾏的时间
  • 当前登录⽤户的数量
  • 相应最近5、10和15分钟内的平均负载
  • 可以使⽤’l’命令切换uptime的显示。

2)任务:
在这里插入图片描述

第⼆⾏显示的是任务或者进程的总结。进程可以处于不同的状态。这⾥显示了全部进程的数量。除

此之外,还有正在运⾏、睡眠、停⽌、僵⼫进程的数量(僵⼫是⼀种进程的状态)。这些进程概括信息

可以⽤’t’切换显示。

3)CPU 状态:
在这里插入图片描述

下⼀⾏显示的是CPU状态。 这⾥显示了不同模式下的所占CPU时间的百分⽐。这些不同的CPU时间

表示:

  • us, user: 运⾏(未调整优先级的) ⽤户进程的CPU时间sy,system: 运⾏内核进程的CPU时间

  • ni,niced:运⾏已调整优先级的⽤户进程的CPU时间

  • wa,IO wait: ⽤于等待IO完成的CPU时间

  • hi:处理硬件中断的CPU时间

  • si: 处理软件中断的CPU时间

  • st:这个虚拟机被hypervisor偷去的CPU时间(译注:如果当前处于⼀个hypervisor下的vm,实

    际上hypervisor也是要消耗⼀部分CPU处理时间的)。

    可以使⽤’t’命令切换显示。

4)内存使⽤:

在这里插入图片描述

接下来两⾏显示内存使⽤率,有点像’free’命令。第⼀⾏是物理内存使⽤,第⼆⾏是虚拟内存使⽤

(交换空间)。

物理内存显示如下:全部可⽤内存、已使⽤内存、空闲内存、缓冲内存。相似地:交换部分显示的

是:全部、已使⽤、空闲和缓冲交换空间。

1.5.2.vmstat

vmstat是Virtual Meomory Statistics(虚拟内存统计)的缩写,可对操作系统的虚拟内存、进程、CPU活动进⾏监控。是对系统的整体情况进⾏统计,不⾜之处是⽆法对某个进程进⾏深⼊分析。怎样通过vmstat来发现系统中的瓶颈呢?在回答这个问题前,还是让我们回顾⼀下Linux中关于虚拟内存相关内容。

物理内存和虚拟内存区别

我们知道,直接从物理内存读写数据要⽐从硬盘读写数据要快的多,因此,我们希望所有数据的读取和写⼊都在内存完成,⽽内存是有限的,这样就引出了物理内存与虚拟内存的概念。

物理内存就是系统硬件提供的内存⼤⼩,是真正的内存,相对于物理内存,在linux下还有⼀个虚拟内存的概念,虚拟内存就是为了满⾜物理内存的不⾜⽽提出的策略,它是利⽤磁盘空间虚拟出的⼀块逻辑内存,⽤作虚拟内存的磁盘空间被称为交换空间Swap Space)。

⽤法

vmstat [-a] [-n] [-S unit] [delay [ count]]

vmstat [-s] [-n] [-S unit]

vmstat [-m] [-n] [delay [ count]]

vmstat [-d] [-n] [delay [ count]]

vmstat [-p disk partition] [-n] [delay [ count]]

vmstat [-f]

vmstat [-V]

-a:显示活跃和⾮活跃内存

-f:显示从系统启动⾄今的fork数量 。

-m:显示slabinfo

-n:只在开始时显示⼀次各字段名称。

-s:显示内存相关统计信息及多种系统活动数量。

delay:刷新时间间隔。如果不指定,只显示⼀条结果。

count:刷新次数。如果不指定刷新次数,但指定了刷新时间间隔,这时刷新次数为⽆穷。

-d:显示磁盘相关统计信息。

-p:显示指定磁盘分区统计信息

-S:使⽤指定单位显示。参数有 k 、K 、m 、M ,分别代表1000、1024、1000000、1048576字节

(byte)。默认单位为K(1024 bytes)

-V:显示vmstat版本信息。

示例⼀:

每3秒输出⼀条结果

在这里插入图片描述

字段说明:

Procs(进程):

r: 运⾏队列中进程数量,这个值也可以判断是否需要增加CPU。(⻓期⼤于1)

b: 等待IO的进程数量

Memory(内存):

swpd: 使⽤虚拟内存⼤⼩

注意:如果swpd的值不为0,但是SI,SO的值⻓期为0,这种情况不会影响系统性能。

free: 空闲物理内存⼤⼩

buff: ⽤作缓冲的内存⼤⼩

cache: ⽤作缓存的内存⼤⼩

注意:如果cache的值⼤的时候,说明cache处的⽂件数多,如果频繁访问到的⽂件都能被cache处,那

么磁盘的读IO bi会⾮常⼩。

Swap

si: 每秒从交换区写到内存的⼤⼩,由磁盘调⼊内存

so: 每秒写⼊交换区的内存⼤⼩,由内存调⼊磁盘

注意:内存够⽤的时候,这2个值都是0,如果这2个值⻓期⼤于0时,系统性能会受到影响,磁盘IO和

CPU资源都会被消耗。有些朋友看到空闲内存(free)很少的或接近于0时,就认为内存不够⽤了,不能

光看这⼀点,还要结合si和so,如果free很少,但是si和so也很少(⼤多时候是0),那么不⽤担⼼,系

统性能这时不会受到影响的。

IO:(现在的Linux版本块的⼤⼩为1kb)

bi: 每秒读取的块数

bo: 每秒写⼊的块数

注意:随机磁盘读写的时候,这2个值越⼤(如超出1024k),能看到CPU在IO等待的值也会越⼤。

系统:

in: 每秒中断数,包括时钟中断。

cs: 每秒上下⽂切换数。

注意:上⾯2个值越⼤,会看到由内核消耗的CPU时间会越⼤。

CPU(以百分⽐表示):us: ⽤户进程执⾏时间百分⽐(user time)

注意: us的值⽐较⾼时,说明⽤户进程消耗的CPU时间多,但是如果⻓期超50%的使⽤,那么我们就该

考虑优化程序算法或者进⾏加速。

sy: 内核系统进程执⾏时间百分⽐(system time)

注意:sy的值⾼时,说明系统内核消耗的CPU资源多,这并不是良性表现,我们应该检查原因。

wa: IO等待时间百分⽐

注意:wa的值⾼时,说明IO等待⽐较严重,这可能由于磁盘⼤量作随机访问造成,也有可能磁盘出现

瓶颈(块操作)。

备注:

如果r经常⼤于4,id经常少于40,表示cpu的负荷很重。

如果bi,bo⻓期不等于0,表示内存不⾜。

如果disk经常不等于0,且在b中的队列⼤于3,表示io性能不好。

Linux在具有⾼稳定性、可靠性的同时,具有很好的可伸缩性和扩展性,能够针对不同的应⽤和硬件环

境调整,优化出满⾜当前应⽤需要的最佳性能。因此企业在维护Linux系统、进⾏系统调优时,了解系

统性能分析⼯具是⾄关重要的。

示例⼆:

显示活跃和⾮活跃内存
在这里插入图片描述

使⽤-a选项显示活跃和⾮活跃内存时,所显示的内容除增加inact和active外,其他显示内容与例⼦1相同。

字段说明:

Memory(内存):

inact: ⾮活跃内存⼤⼩(当使⽤-a选项时显示)

active: 活跃的内存⼤⼩(当使⽤-a选项时显示)

示例三:

显示从系统启动⾄今的fork数量

vmstat -f 【 linux下创建进程的系统调⽤是fork】

在这里插入图片描述

说明**😗* 信息是从/proc/stat中的processes字段⾥取得的

示例四:

查看详细信息

vmstat -s 【显示内存相关统计信息及多种系统活动数量】

在这里插入图片描述
说明:这些vvmstat的分别来⾃于/proc/meminfo,/proc/stat和/proc/vmstat

示例五:

vmstat -d 【查看磁盘的读写】

在这里插入图片描述

说明:这些信息主要来⾃于/proc/diskstats.

示例六:

查看/dev/vda1磁盘的读/写

vmstat -p /dev/vda1 【显示指定磁盘分区统计信息】

在这里插入图片描述

说明:这些信息主要来⾃于/proc/diskstats.

reads:来⾃于这个分区的读的次数。

read sectors:来⾃于这个分区的读扇区的次数。

writes:来⾃于这个分区的写的次数。

requested writes:来⾃于这个分区的写请求次数。

1.5.3.iostat

iostat:I/O statistics(输⼊/输出统计)的缩写,iostat⼯具将对系统的磁盘操作活动进⾏监视。它

的特点是汇报磁盘活动统计情况,同时也会汇报出CPU使⽤情况。iostat也有⼀个弱点,就是它不能对

某个进程进⾏深⼊分析,仅对系统的整体情况进⾏分析。

iostat 安装

# iostat属于sysstat软件包。可以直接安装。
yum install sysstat

示例一

在这里插入图片描述

单独执⾏iostat,显示的结果为从系统开机到当前执⾏时刻的统计信息。

以上输出中,包含三部分:选项 说明

第⼀⾏:最上⾯指示系统版本、主机名和当前⽇期

avg-cpu:总体cpu使⽤情况统计信息,对于多核cpu,这⾥为所有cpu的平均值

Device:各磁盘设备的IO统计信息

avg-cpu中各列参数含义如下:

%user:CPU在⽤户态执⾏进程的时间百分⽐。

%nice:CPU在⽤户态模式下,⽤于nice操作,所占⽤CPU总时间的百分⽐

%system:CPU处在内核态执⾏进程的时间百分⽐

%iowait:CPU⽤于等待I/O操作占⽤CPU总时间的百分⽐

%steal:管理程序(hypervisor)为另⼀个虚拟进程提供服务⽽等待虚拟CPU的百分⽐

%idle:CPU空闲时间百分⽐

  1. 若 %iowait 的值过⾼,表示硬盘存在I/O瓶颈

  2. 若 %idle 的值⾼但系统响应慢时,有可能是CPU等待分配内存,此时应加⼤内存容量

  3. 若 %idle 的值持续低于1,则系统的CPU处理能⼒相对较低,表明系统中最需要解决的资源是 CPU

Device:设备名称

tps:每秒向磁盘设备请求数据的次数,包括读、写请求,为rtps与wtps的和。出于效率考虑,每⼀次IO下发后并不是⽴即处理请求,⽽是将请求合并(merge),这⾥tps指请求合并后的请求计数。

kB_read/s:每秒从设备(drive expressed)读取的数据量;

kB_wrtn/s:每秒向设备(drive expressed)写⼊的数据量;

kB_read:读取的总数据量;

kB_wrtn:写⼊的总数量数据量;

Device中各列参数含义如下:

我们可以使⽤-c选项单独显示avg-cpu部分的结果,使⽤-d选项单独显示Device部分的信息。

定时显示所有信息# 【每隔2秒刷新显示,且显示3次】

iostat 2 3

显示指定磁盘信息

iostat -d /dev/sda

显示ttycpu信息

iostat -t

M为单位显示所有信息

iostat -m

查看设备使⽤率(%util)、响应时间(await

# 【-d 显示磁盘使⽤情况,-x 显示详细信息】

iostat -d -x -k 1 10

【注意】一般%util大于70%,I/O压力就比较大,说明产生的I/O请求太多,I/O系统已经满负荷,该磁盘可能存在瓶颈。

1.5.4.pidstat

pidstat是sysstat⼯具的⼀个命令,⽤于监控全部或指定进程的cpu、内存、线程、设备IO等系统资

源的占⽤情况。pidstat⾸次运⾏时显示⾃系统启动开始的各项统计信息,之后运⾏pidstat将显示⾃上

次运⾏该命令以后的统计信息。⽤户可以通过指定统计的次数和时间来获得所需的统计信息。

pidstat 安装

pidstat 是sysstat软件套件的⼀部分,sysstat包含很多监控linux系统状态的⼯具,它能够从⼤多数

linux发⾏版的软件源中获得。

在Debian/Ubuntu系统中可以使⽤下⾯的命令来安装:

apt-get install sysstat

CentOS/Fedora/RHEL版本的linux中则使⽤下⾯的命令:

yum install sysstat

⽤法

pidstat [ 选项 ] [ <时间间隔> ] [ <次数> ]

常⽤的参数:

  • -u:默认的参数,显示各个进程的cpu使⽤统计

  • -r:显示各个进程的内存使⽤统计

  • -d:显示各个进程的IO使⽤情况

  • -p:指定进程号

  • -w:显示每个进程的上下⽂切换情况

  • -t:显示选择任务的线程的统计信息外的额外信息

  • -T { TASK | CHILD | ALL }

    这个选项指定了pidstat监控的。TASK表示报告独⽴的task,CHILD关键字表示报告进程下所有线程统计信息。ALL表示报告独⽴的task和task下⾯的所有线程。

    注意:task和⼦线程的全局的统计信息和pidstat选项⽆关。这些统计信息不会对应到当前的统计间隔,这些统计信息只有在⼦线程kill或者完成的时候才会被收集。

  • -V:版本号

  • -h:在⼀⾏上显示了所有活动,这样其他程序可以容易解析。

  • -I:在SMP环境,表示任务的CPU使⽤率/内核数量

  • -l:显示命令名和所有参数

  • 示例⼀:

查看所有进程的 CPU 使⽤情况( -u -p ALL)

pidstat
pidstat -u -p ALL

pidstat 和 pidstat -u -p ALL 是等效的。

pidstat 默认显示了所有进程的cpu使⽤率。

在这里插入图片描述

详细说明

PID:进程ID

  • %usr:进程在⽤户空间占⽤cpu的百分⽐
  • %system:进程在内核空间占⽤cpu的百分⽐
  • %guest:进程在虚拟机占⽤cpu的百分⽐
  • %CPU:进程占⽤cpu的百分⽐
  • CPU:处理进程的cpu编号
  • Command:当前进程对应的命令

示例二:

内存使⽤情况统计(-r)

pidstat -r

使⽤-r选项,pidstat将显示各活动进程的内存使⽤统计:

在这里插入图片描述

  • PID:进程标识符
  • Minflt/s:任务每秒发⽣的次要错误,不需要从磁盘中加载⻚
  • Majflt/s:任务每秒发⽣的主要错误,需要从磁盘中加载⻚
  • VSZ:虚拟地址⼤⼩,虚拟内存的使⽤KB
  • RSS:常驻集合⼤⼩,⾮交换区五⾥内存使⽤KB
  • Command:task命令名

示例四:

显示各个进程的IO使⽤情况(-d)

在这里插入图片描述

报告IO统计显示以下信息:

  • PID:进程id
  • kB_rd/s:每秒从磁盘读取的KBkB_wr/s:每秒写⼊磁盘KB
  • kB_ccwr/s:任务取消的写⼊磁盘的KB。当任务截断脏的pagecache的时候会发⽣。
  • COMMAND:task的命令名

示例五:

显示每个进程的上下⽂切换情况(-w)
在这里插入图片描述

  • PID:进程id
  • Cswch/s:每秒主动任务上下⽂切换数量
  • Nvcswch/s:每秒被动任务上下⽂切换数量
  • Command:命令名

示例六:

显示选择任务的线程的统计信息外的额外信息 (-t)

在这里插入图片描述

TGID:主线程的表示

TID:线程id

  • %usr:进程在⽤户空间占⽤cpu的百分⽐
  • %system:进程在内核空间占⽤cpu的百分⽐
  • %guest:进程在虚拟机占⽤cpu的百分⽐
  • %CPU:进程占⽤cpu的百分⽐
  • CPU:处理进程的cpu编号
  • Command:当前进程对应的命令

2.操作系统

2.1.内核

inux在系统运行时修改内核参数(/proc/sys与/etc/sysctl.conf),而不需要重新引导系统,这个功能是通过/proc虚拟文件系统实现的。

在/proc/sys目录下存放着大多数的内核参数,并且设计成可以在系统运行的同时进行更改, 可以通过更改/proc/sys中内核参数对应的文件达到修改内核参数的目的(修改过后,保存配置文件就马上自动生效),不过重新启动机器后之前修改的参数值会失效,所以只能是一种临时参数变更方案。(适合调试内核参数优化值的时候使用,如果设置值有问题,重启服务器还原原来的设置参数值了。简单方便。)

但是如果调试内核参数优化值结束后,需要永久保存参数值,就要通过修改/etc/sysctl.conf内的内核参数来永久保存更改。但只是修改sysctl文件内的参数值,确认保存修改文件后,设定的参数值并不会马上生效,如果想使参数值修改马上生效,并且不重启服务器,可以执行下面的命令:

#sysctl –p

下面介绍一下/proc/sys下内核文件与配置文件sysctl.conf中变量的对应关系:

由于可以修改的内核参数都在/proc/sys目录下,所以sysctl.conf的变量名省略了目录的前面部分(/proc/sys)。

即将/proc/sys中的文件转换成sysctl中的变量依据下面两个简单的规则:

1.去掉前面部分/proc/sys

2.将文件名中的斜杠变为点

这两条规则可以将/proc/sys中的任一文件名转换成sysctl中的变量名。

例如:

/proc/sys/net/ipv4/ip_forward =》 net.ipv4.ip_forward

/proc/sys/kernel/hostname =》 kernel.hostname

可以使用下面命令查询所有可修改的变量名

# sysctl –a

2.1.1.linux内核参数注释

以下表格中红色字体为常用优化参数

根据参数文件所处目录不同而进行分表整理

下列文件所在目录:/proc/sys/net/ipv4/

名称默认值建议值描述
tcp_syn_retries51对于一个新建连接,内核要发送多少个 SYN 连接请求才决定放弃。不应该大于255,默认值是5,对应于180秒左右时间。。(对于大负载而物理通信良好的网络而言,这个值偏高,可修改为2.这个值仅仅是针对对外的连接,对进来的连接,是由tcp_retries1决定的)
tcp_synack_retries51对于远端的连接请求SYN,内核会发送SYN + ACK数据报,以确认收到上一个 SYN连接请求包。这是所谓的三次握手( threeway handshake)机制的第二个步骤。这里决定内核在放弃连接之前所送出的 SYN+ACK 数目。不应该大于255,默认值是5,对应于180秒左右时间。
tcp_keepalive_time7200600TCP发送keepalive探测消息的间隔时间(秒),用于确认TCP连接是否有效。防止两边建立连接但不发送数据的攻击。
tcp_keepalive_probes93TCP发送keepalive探测消息的间隔时间(秒),用于确认TCP连接是否有效。
tcp_keepalive_intvl7515探测消息未获得响应时,重发该消息的间隔时间(秒)。默认值为75秒。 (对于普通应用来说,这个值有一些偏大,可以根据需要改小.特别是web类服务器需要改小该值,15是个比较合适的值)
tcp_retries133放弃回应一个TCP连接请求前﹐需要进行多少次重试。RFC规定最低的数值是3
tcp_retries2155在丢弃激活(已建立通讯状况)的TCP连接之前﹐需要进行多少次重试。默认值为15,根据RTO的值来决定,相当于13-30分钟(RFC1122规定,必须大于100秒).(这个值根据目前的网络设置,可以适当地改小,我的网络内修改为了5)
tcp_orphan_retries73在近端丢弃TCP连接之前﹐要进行多少次重试。默认值是7个﹐相当于 50秒 - 16分钟﹐视 RTO 而定。如果您的系统是负载很大的web服务器﹐那么也许需要降低该值﹐这类 sockets 可能会耗费大量的资源。另外参的考tcp_max_orphans。(事实上做NAT的时候,降低该值也是好处显著的,我本人的网络环境中降低该值为3)
tcp_fin_timeout602对于本端断开的socket连接,TCP保持在FIN-WAIT-2状态的时间。对方可能会断开连接或一直不结束连接或不可预料的进程死亡。默认值为 60 秒。
tcp_max_tw_buckets18000036000系统在同时所处理的最大 timewait sockets 数目。如果超过此数的话﹐time-wait socket 会被立即砍除并且显示警告信息。之所以要设定这个限制﹐纯粹为了抵御那些简单的 DoS 攻击﹐不过﹐如果网络条件需要比默认值更多﹐则可以提高它(或许还要增加内存)。(事实上做NAT的时候最好可以适当地增加该值)
tcp_tw_recycle01打开快速 TIME-WAIT sockets 回收。除非得到技术专家的建议或要求﹐请不要随意修改这个值。(做NAT的时候,建议打开它)
tcp_tw_reuse01表示是否允许重新应用处于TIME-WAIT状态的socket用于新的TCP连接(这个对快速重启动某些服务,而启动后提示端口已经被使用的情形非常有帮助)
tcp_max_orphans819232768系统所能处理不属于任何进程的TCP sockets最大数量。假如超过这个数量﹐那么不属于任何进程的连接会被立即reset,并同时显示警告信息。之所以要设定这个限制﹐纯粹为了抵御那些简单的 DoS 攻击﹐千万不要依赖这个或是人为的降低这个限制。如果内存大更应该增加这个值。(这个值Redhat AS版本中设置为32768,但是很多防火墙修改的时候,建议该值修改为2000)
tcp_abort_on_overflow00当守护进程太忙而不能接受新的连接,就象对方发送reset消息,默认值是false。这意味着当溢出的原因是因为一个偶然的猝发,那么连接将恢复状态。只有在你确信守护进程真的不能完成连接请求时才打开该选项,该选项会影响客户的使用。(对待已经满载的sendmail,apache这类服务的时候,这个可以很快让客户端终止连接,可以给予服务程序处理已有连接的缓冲机会,所以很多防火墙上推荐打开它)
tcp_syncookies01只有在内核编译时选择了CONFIG_SYNCOOKIES时才会发生作用。当出现syn等候队列出现溢出时象对方发送syncookies。目的是为了防止syn flood攻击。
tcp_stdurg00使用 TCP urg pointer 字段中的主机请求解释功能。大部份的主机都使用老旧的 BSD解释,因此如果您在 Linux打开它﹐或会导致不能和它们正确沟通。
tcp_max_syn_backlog102416384对于那些依然还未获得客户端确认的连接请求﹐需要保存在队列中最大数目。对于超过 128Mb 内存的系统﹐默认值是 1024 ﹐低于 128Mb 的则为 128。如果服务器经常出现过载﹐可以尝试增加这个数字。警告﹗假如您将此值设为大于 1024﹐最好修改include/net/tcp.h里面的TCP_SYNQ_HSIZE﹐以保持TCP_SYNQ_HSIZE*16(SYN Flood攻击利用TCP协议散布握手的缺陷,伪造虚假源IP地址发送大量TCP-SYN半打开连接到目标系统,最终导致目标系统Socket队列资源耗尽而无法接受新的连接。为了应付这种攻击,现代Unix系统中普遍采用多连接队列处理的方式来缓冲(而不是解决)这种攻击,是用一个基本队列处理正常的完全连接应用(Connect()和Accept() ),是用另一个队列单独存放半打开连接。这种双队列处理方式和其他一些系统内核措施(例如Syn-Cookies/Caches)联合应用时,能够比较有效的缓解小规模的SYN Flood攻击(事实证明)
tcp_window_scaling11该文件表示设置tcp/ip会话的滑动窗口大小是否可变。参数值为布尔值,为1时表示可变,为0时表示不可变。tcp/ip通常使用的窗口最大可达到 65535 字节,对于高速网络,该值可能太小,这时候如果启用了该功能,可以使tcp/ip滑动窗口大小增大数个数量级,从而提高数据传输的能力(RFC 1323)。(对普通地百M网络而言,关闭会降低开销,所以如果不是高速网络,可以考虑设置为0)
tcp_timestamps11Timestamps 用在其它一些东西中﹐可以防范那些伪造的sequence 号码。一条1G的宽带线路或许会重遇到带 out-of-line数值的旧sequence 号码(假如它是由于上次产生的)。Timestamp 会让它知道这是个 ‘旧封包’。(该文件表示是否启用以一种比超时重发更精确的方法(RFC 1323)来启用对 RTT 的计算;为了实现更好的性能应该启用这个选项。)
tcp_sack11使用 Selective ACK﹐它可以用来查找特定的遗失的数据报— 因此有助于快速恢复状态。该文件表示是否启用有选择的应答(Selective Acknowledgment),这可以通过有选择地应答乱序接收到的报文来提高性能(这样可以让发送者只发送丢失的报文段)。(对于广域网通信来说这个选项应该启用,但是这会增加对 CPU 的占用。)
tcp_fack11打开FACK拥塞避免和快速重传功能。(注意,当tcp_sack设置为0的时候,这个值即使设置为1也无效)[这个是TCP连接靠谱的核心功能]
tcp_dsack11允许TCP发送"两个完全相同"的SACK。
tcp_ecn00TCP的直接拥塞通告功能。
tcp_reordering36TCP流中重排序的数据报最大数量。 (一般有看到推荐把这个数值略微调整大一些,比如5)
tcp_retrans_collapse10对于某些有bug的打印机提供针对其bug的兼容性。(一般不需要这个支持,可以关闭它)
tcp_wmem**:*min**default**max***409616384131072819213107216777216发送缓存设置min:为TCP socket预留用于发送缓冲的内存最小值。每个tcp socket都可以在建议以后都可以使用它。默认值为4096(4K)。default:为TCP socket预留用于发送缓冲的内存数量,默认情况下该值会影响其它协议使用的net.core.wmem_default 值,一般要低于net.core.wmem_default的值。默认值为16384(16K)。max: 用于TCP socket发送缓冲的内存最大值。该值不会影响net.core.wmem_max,"静态"选择参数SO_SNDBUF则不受该值影响。默认值为131072(128K)。(对于服务器而言,增加这个参数的值对于发送数据很有帮助,在我的网络环境中,修改为了51200 131072 204800)
tcp_rmem**:*min**default**max***4096873801747603276813107216777216接收缓存设置同tcp_wmem
tcp_mem**:*min**default**max***根据内存计算7864321048576 1572864low:当TCP使用了低于该值的内存页面数时,TCP不会考虑释放内存。即低于此值没有内存压力。(理想情况下,这个值应与指定给 tcp_wmem 的第 2 个值相匹配 - 这第 2 个值表明,最大页面大小乘以最大并发请求数除以页大小 (131072 * 300 / 4096)。 )pressure:当TCP使用了超过该值的内存页面数量时,TCP试图稳定其内存使用,进入pressure模式,当内存消耗低于low值时则退出pressure状态。(理想情况下这个值应该是 TCP 可以使用的总缓冲区大小的最大值 (204800 * 300 / 4096)。 )high:允许所有tcp sockets用于排队缓冲数据报的页面量。(如果超过这个值,TCP 连接将被拒绝,这就是为什么不要令其过于保守 (512000 * 300 / 4096) 的原因了。 在这种情况下,提供的价值很大,它能处理很多连接,是所预期的 2.5 倍;或者使现有连接能够传输 2.5 倍的数据。 我的网络里为192000 300000 732000)一般情况下这些值是在系统启动时根据系统内存数量计算得到的。
tcp_app_win3131保留max(window/2^tcp_app_win, mss)数量的窗口由于应用缓冲。当为0时表示不需要缓冲。
tcp_adv_win_scale22计算缓冲开销bytes/2^tcp_adv_win_scale(如果tcp_adv_win_scale > 0)或者bytes-bytes/2^(-tcp_adv_win_scale)(如果tcp_adv_win_scale BOOLEAN>0)
tcp_low_latency00允许 TCP/IP 栈适应在高吞吐量情况下低延时的情况;这个选项一般情形是的禁用。(但在构建Beowulf 集群的时候,打开它很有帮助)
tcp_westwood00启用发送者端的拥塞控制算法,它可以维护对吞吐量的评估,并试图对带宽的整体利用情况进行优化;对于 WAN通信来说应该启用这个选项。
tcp_bic00为快速长距离网络启用 Binary Increase Congestion;这样可以更好地利用以 GB 速度进行操作的链接;对于WAN 通信应该启用这个选项。
ip_forward0NAT必须开启IP转发支持,把该值写1
ip_local_port_range:minmax3276861000102465000表示用于向外连接的端口范围,默认比较小,这个范围同样会间接用于NAT表规模。
ip_conntrack_max6553565535系统支持的最大ipv4连接数,默认65536(事实上这也是理论最大值),同时这个值和你的内存大小有关,如果内存128M,这个值最大8192,1G以上内存这个值都是默认65536

所处目录/proc/sys/net/ipv4/netfilter/

文件需要打开防火墙才会存在

名称默认值建议值描述
ip_conntrack_max6553665536系统支持的最大ipv4连接数,默认65536(事实上这也是理论最大值),同时这个值和你的内存大小有关,如果内存128M,这个值最大8192,1G以上内存这个值都是默认65536,这个值受/proc/sys/net/ipv4/ip_conntrack_max限制
ip_conntrack_tcp_timeout_established432000180已建立的tcp连接的超时时间,默认432000,也就是5天。影响:这个值过大将导致一些可能已经不用的连接常驻于内存中,占用大量链接资源,从而可能导致NAT ip_conntrack: table full的问题。建议:对于NAT负载相对本机的 NAT表大小很紧张的时候,可能需要考虑缩小这个值,以尽早清除连接,保证有可用的连接资源;如果不紧张,不必修改
ip_conntrack_tcp_timeout_time_wait120120time_wait状态超时时间,超过该时间就清除该连接
ip_conntrack_tcp_timeout_close_wait6060close_wait状态超时时间,超过该时间就清除该连接
ip_conntrack_tcp_timeout_fin_wait120120fin_wait状态超时时间,超过该时间就清除该连接

文件所处目录/proc/sys/net/core/

名称默认值建议值描述
netdev_max_backlog102416384每个网络接口接收数据包的速率比内核处理这些包的速率快时,允许送到队列的数据包的最大数目,对重负载服务器而言,该值需要调高一点。
somaxconn12816384用来限制监听(LISTEN)队列最大数据包的数量,超过这个数量就会导致链接超时或者触发重传机制。web应用中listen函数的backlog默认会给我们内核参数的net.core.somaxconn限制到128,而nginx定义的NGX_LISTEN_BACKLOG默认为511,所以有必要调整这个值。对繁忙的服务器,增加该值有助于网络性能
wmem_default129024129024默认的发送窗口大小(以字节为单位)
rmem_default129024129024默认的接收窗口大小(以字节为单位)
rmem_max129024873200最大的TCP数据接收缓冲
wmem_max129024873200最大的TCP数据发送缓冲

2.1.2.两种修改内核参数方法

1、使用echo value方式直接追加到文件里如echo “1” >/proc/sys/net/ipv4/tcp_syn_retries,但这种方法设备重启后又会恢复为默认值

2、把参数添加到/etc/sysctl.conf中,然后执行sysctl -p使参数生效,永久生效

2.1.3.内核生产环境优化参数

这儿所列参数是生产中常用的参数:

net.ipv4.tcp_syn_retries = 1

net.ipv4.tcp_synack_retries = 1

net.ipv4.tcp_keepalive_time = 600

net.ipv4.tcp_keepalive_probes = 3

net.ipv4.tcp_keepalive_intvl =15

net.ipv4.tcp_retries2 = 5

net.ipv4.tcp_fin_timeout = 2

net.ipv4.tcp_max_tw_buckets = 36000

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_max_orphans = 32768

net.ipv4.tcp_syncookies = 1

net.ipv4.tcp_max_syn_backlog = 16384

net.ipv4.tcp_wmem = 8192 131072 16777216

net.ipv4.tcp_rmem = 32768 131072 16777216

net.ipv4.tcp_mem = 786432 1048576 1572864

net.ipv4.ip_local_port_range = 1024 65000

net.ipv4.ip_conntrack_max = 65536

net.ipv4.netfilter.ip_conntrack_max=65536

net.ipv4.netfilter.ip_conntrack_tcp_timeout_established=180

net.core.somaxconn = 16384

net.core.netdev_max_backlog = 16384

对比网上其他人的生产环境优化参数,需要优化的参数基本差不多,只是值有相应的变化。具体优化值要参考应用场景,这儿所列只是常用优化参数,是否适合,可在上面查看该参数描述,理解后,再根据自己生产环境而设。

其它相关linux内核参数调整文章:

Linux内核参数优化

http://flandycheng.blog.51cto.com/855176/476769

优化linux的内核参数来提高服务器并发处理能力

http://www.ha97.com/4396.html

nginx做web服务器linux内核参数优化

http://blog.csdn.net/force_eagle/article/details/6725243

2.2.limits.conf

imits.conf文件限制着用户可以使用的最大文件数,最大线程,最大内存等资源使用量

一、修改最大连接数
1、查看当前文件描述符的限制数目的命令:
ulimit -n
2、修改文件描述符的限制数目
2.1 临时改变当前会话:
ulimit -n 65536
2.2 永久变更需要下面两个步骤:

  1. 修改/etc/security/limits.conf 文件(注意带着前面的*号),如下:
    vi /etc/security/limits.conf
    * soft nofile 570000
    * hard nofile 570000
    保存退出后重新登录,其最大文件描述符已经被永久更改了;但是需要经过下面的步骤2)之后才能生效。
  2. 重新加载库:
    打开文件:
    vi /etc/pam.d/login
    在最后加上:
    session required /lib64/security/pam_limits.so
    即可

3.查看和修改系统的最大打开文件限制
位置: /proc/sys/fs/file-max
查看命令:
cat /proc/sys/fs/file-max
修改:
通过vi修改 /etc/sysctl.conf 文件,在该文件中加上:

fs.file-max=2000000
可以在令针对此参数 的修改一直生效,在该文件中,修改完后执行命令:

sysctl -p

使修改立即生效,而无需重启;

可使用下面两条命令验证一下修改是否成功:

cat /proc/sys/fs/file-max

或者

sysctl fs.file-max

4.修改nr_open
通过vi修改 /etc/sysctl.conf,在该文件中加上:
fs.nr_open = 2000000
可以在令针对此参数 的修改一直生效,在该文件中,修改完后执行命令:
sysctl -p
使修改立即生效,而无需重启;

注意:
a. 所有进程打开的文件描述符数不能超过/proc/sys/fs/file-max

b. 单个进程打开的文件描述符数不能超过user limit中nofile的soft limit

c. nofile的soft limit不能超过其hard limit

d. nofile的hard limit不能超过/proc/sys/fs/nr_open
---------------------
作者:逍遥子_
原文:https://blog.csdn.net/houjixin/article/details/12578655

3.软件

3.1.数据库

观察指标是数据库cpu、内存、和IO情况是否过高。

数据库压力大的表现为,sql查询返回时间长,并且失败率增加。

3.2.内存泄漏

使用jmap命令dump当前程序内存快照,使用mat进行内存泄漏分析

jmap -dump:live,format=b,file=filename.hprof pid

在这里插入图片描述
Histogram:列出每个class的实例数量

Dominator Tree(支配树):列出每个对象(Object instance)与其引用关系的树状结构,还包含了占有多大内存,所占百分比

  • Shallow Heap:对象本身占用内存大小,不包括它引用的对象
  • Retained Heap:当前对象大小+当前对象可直接或间接引用到的对象的大小总和

3.3.死锁

  1. 使用jstack命令获得当前线程快照,使用jconsole检测是否存在明显的死锁现象。

  2. 使用jstack按一定频率收集线程运行快照,分析其中是否有长时间持续运行的线程,再根据具体的业务情况分析是否属于正常情况。

    以下几种会造成线程长时间处于等待状态,虽然不属于死锁,但也是需要改进的地方(可以设置超时时间)。

    1. 等待分布式锁
    2. 等待磁盘IO
    3. 等待数据库返回
    4. 等待Http请求返回

3.4.程序性能

软件本身就有非常复杂的业务处理和io,应该考虑按功能拆分服务或者集群部署来减轻压力

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值