由于redis服务器cpu100%的问题导致网站宕机访问大量出现504gateway time-out

背景:

某天公司突然发现整个网站访问很慢,请求大部分报502,基本处于宕机状态....时间大概持续一整晚,导致公司大量的投诉直接造成经济损失...

网站主要使用的技术栈:

nginx+php+mysql+redis

阿里云ecs

定位问题过程:

第一步就去查看mysql服务器状况,是否有慢查询导致,结果是mysql运行良好

第二步查看web服务器服务器情况,内存使用偏高,但整体负载并没有过红线

第三步查看redis服务器,服务器负载“运行良好”(这里先打个引号后面详细说明)

以上我把它称为排查问题的前置3部曲,检查问题的基本操作。

结果运维工程师告诉我3步完成后竟然一点问题都没有,我当时就有点蒙....

开始检查当天发布的代码是否有可能出现问题,但当时思绪是没有目标的,我们就像无头苍蝇一样扫代码(可想而知没有大概的范围是很难解决的,你得告诉开发工程师大概的方向才能定位问题)...

再次督促运维工程师继续排查...

二次定位问题过程:

检查nginx访问日志,全是60秒超时,查看高峰日志最高约1800/秒左右,这时突然想到我们的php-fpm是静态部署,每台设置260左右的数量(也就是并发最多260个访问左右),我们有6台web 也就是1560(260*6)左右

得出第一结论:我们的web服务器访问数满负荷了,吞吐量很低,也就是访问要排队了

第一结论的疑问1:为什么访问接满负荷web服务器负载没有超红线?

原因:2

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
压力测试服务器CPU占用率达到100%可能是由于多个原因导致的。其中可能的原因之一是MySQL进程的高CPU占用率。根据引用\[1\]中提供的信息,PID为16965的MySQL进程占用了1566%的CPU资源。这可能是由于MySQL数据库的负载过重或者查询操作的复杂性导致的。建议检查数据库的查询语句和索引设计,以优化查询性能并减少CPU的负载。 另一个可能的原因是引用\[2\]中提到的大量的key和value的写入操作。如果在压力测试期间进行了大量的写入操作,可能导致CPU占用率上升。建议检查写入操作的代码逻辑和数据量,确保写入操作的效率和资源利用率。 此外,引用\[3\]提到的DIGEST_TEXT内容显示不全的问题可能也CPU占用率产生影响。如果在压力测试期间需要对DIGEST_TEXT进行处理,可能增加CPU的负载。建议根据引用\[3\]中提供的方法,调整max_digest_length变量的值,以便完整显示DIGEST_TEXT内容并减少CPU的负载。 综上所述,压力测试服务器CPU占用率达到100%可能是由于MySQL进程的高CPU占用率大量的写入操作以及DIGEST_TEXT处理等原因导致的。建议优化数据库查询性能、检查写入操作的代码逻辑和数据量,并根据需要调整max_digest_length变量的值,以降低CPU的负载。 #### 引用[.reference_title] - *1* *3* [一次mysql服务器cpu占用率100%问题排查](https://blog.csdn.net/xust_Hankey/article/details/127177288)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [redis服务器cpu100%的原因和解决方案](https://blog.csdn.net/weixin_44753686/article/details/88543012)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值