一次大促故障分析

                      版权所有,允许转载, 请注明出处创建金融_玉龙  http://www.weibo.com/u/1872245125


故障简介:

活动即将在 11:00:00 开始 系统在 10:57:00 左右流量急剧下降,  尝试访问 首页, 发现无法显示, 多次重试后, 发现首页 HTML 内容有时可以勉强展示, 但是静态资源都无法展示。
11:15 分之前, 三次尝试重启静态资源服务器, 无法恢复,  11:20 左右系统自动恢复, 流量迅速攀升至系统故障前最高流量的 2 倍以上且平稳度过。
事后通过理论分析,和网络排查, 定位故障设为 SSL 加密设备, 故障代码为活动页和合同签署页的自动刷新 JS





 

设备:

       F5 负载均衡设备;

       SSL硬件解析设备; 最高并发解析8000

活动前, 已经有几万到十几万客户打开了,活动页。 活动前QPS应该在160以下,即并发在160以下。

活动即将开始时, 已经打开的数十万活动页面, JS定时刷新一下页面。浏览器会并行加载多个资源, 即刷新一个页面会尝试建立多个连接。

高达13万并发连接, 超过活动正常流量峰值的659倍, 接入F5设备此时SSL解析设备无法及时响应, 即HTTPS连接无法建立。简单的说,我们给自己来了一次DOS攻击。

其中, 活动页面刷新的时间点采用了本机时间,并在特定情况下会死循环刷新页面, 加重了问题。

 

总结: 替换SSL解析设备, 下放SSL解析到服务器上, 便于横向扩展。 以后的活动促销时避免JS定时统一刷新,或无限刷新, 避免造成DOS攻击。还可以在活动开始时间上, 故意错开, 让每个用户的活动开始时间随机加上几秒, 让用户实际的活动开始时间错开。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
经导师精心指导并认可、获 98 分的毕业设计项目!【项目资源】:微信小程序。【项目说明】:聚焦计算机相关专业毕设及实战操练,可作课程设计与期末大作业,含全部源码,能直用于毕设,经严格调试,运行有保障!【项目服务】:有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。 经导师精心指导并认可、获 98 分的毕业设计项目!【项目资源】:微信小程序。【项目说明】:聚焦计算机相关专业毕设及实战操练,可作课程设计与期末大作业,含全部源码,能直用于毕设,经严格调试,运行有保障!【项目服务】:有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。 经导师精心指导并认可、获 98 分的毕业设计项目!【项目资源】:微信小程序。【项目说明】:聚焦计算机相关专业毕设及实战操练,可作课程设计与期末大作业,含全部源码,能直用于毕设,经严格调试,运行有保障!【项目服务】:有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。 经导师精心指导并认可、获 98 分的毕业设计项目!【项目资源】:微信小程序。【项目说明】:聚焦计算机相关专业毕设及实战操练,可作课程设计与期末大作业,含全部源码,能直用于毕设,经严格调试,运行有保障!【项目服务】:有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。
经导师精心指导并认可、获 98 分的毕业设计项目!【项目资源】:微信小程序。【项目说明】:聚焦计算机相关专业毕设及实战操练,可作课程设计与期末大作业,含全部源码,能直用于毕设,经严格调试,运行有保障!【项目服务】:有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。 经导师精心指导并认可、获 98 分的毕业设计项目!【项目资源】:微信小程序。【项目说明】:聚焦计算机相关专业毕设及实战操练,可作课程设计与期末大作业,含全部源码,能直用于毕设,经严格调试,运行有保障!【项目服务】:有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。 经导师精心指导并认可、获 98 分的毕业设计项目!【项目资源】:微信小程序。【项目说明】:聚焦计算机相关专业毕设及实战操练,可作课程设计与期末大作业,含全部源码,能直用于毕设,经严格调试,运行有保障!【项目服务】:有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。 经导师精心指导并认可、获 98 分的毕业设计项目!【项目资源】:微信小程序。【项目说明】:聚焦计算机相关专业毕设及实战操练,可作课程设计与期末大作业,含全部源码,能直用于毕设,经严格调试,运行有保障!【项目服务】:有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值