读书笔记20 如何定位系统大面积无法访问根源
拓扑 外网---负载F5----服务器---数据库,发现无法访问,存在大量访问被重置的情况,发现客户与服务器建立三次握手后发送post请求,服务器正常回复ack进行确认,但等待几秒几十秒后,客户端仍未收到数据,于是将会话断开,直接回复客户端RST会话关闭。通过分析,客户端在发送请求后,数据库没有技术发送数据响应,客户端在等待260秒后发送fin中断信号,5分钟后才得到数据库回复响应数据及fin包。这直接导致数据库连接过多,数据库无法正常响应。得知数据库连接上限设置为100,单连接明显超过100。由于数据库出现问题,不能及时断开连接,导致客户端连接数查过100,数据库无法正常响应数据,间接导致客户端无法正常调取数据以及正常访问应用,应用服务器的连接数就撑爆了连接池。
建议修改服务器最大DB连接数配置,从而提高系统容错瓶颈。
读书笔记21 如何解决支付交易间歇性失败问题
故障现象 支付宝充值校园卡,显示交易成功但金额迟迟未到账
服务器---N7K----WAF-----IPS------FW---------ROUTER
分别在各设备内外口抓包分析,发现在WAF内口抓包时,未检索出同一时段内支付宝服务器与一卡通会话(内容长度post小时,WAF会将请求传给服务器,金额立即到账,当post请求较大时,防火墙会乱序发给WAF,但WAF未将请求发送给一卡通服务器,造成服务器无法记账,出现充值无法及时到账),最后发现是因WAF防护安全机制引发,部分充值请求备WAF认为加密攻击被丢弃。关闭WAF策略后正常。
读书笔记22 如何解决SSO单点登录跳转异常问题
故障现象 地址OA办公链接,不能正常跳转到业务页面,而是跳转到oa.x.com页面
业务访问逻辑
1 用户在SSO portal登录系统之后,根据usercode登录名获取token
2 在SSO portal中点击单点登录失联业务系统(OA)的链接,通过request参数传递token到业务系统关联页面
3 业务系统获取到token后,调用SSO portal的token验证接口机接口进行验证
4 返回对象为code1,代表验证通过,加载管理页面(用户编号,姓名等)
5 返回对象code0,即失败,直接跳转到SSO portal登录界面
抓包分析正常和异常跳转发现正常跳转会话远大于异常跳转,并token验证阶段都是返回1,说明关联验证阶段是成功的,因此可以排除是sp token接口机前端问题,OA前端系统问题较大,因此可以通过抓包定位问题。