- 博客(21)
- 收藏
- 关注
RSS订阅原创 案例十:03月11日政采云首页无法访问
故障简要描述： 于3月11日14:21分收到用户大量反馈政采云首页访问出现502，14:32分运维重启应用后首页可以访问，但协议商品创建等还是出现报错，14:50分架构配置限流后影响消除。14:32 运维第一次重启item-center，item-microservice-center应用，首页可以访问，P1恢复。4.2商品中心对上游的能力，对自己内部的能力不了解，需要后续去性能分析，并输出请求数等SLA。2）网超服务在启动的时候会加载前台类目树，每个区划的第一个用户请求，都会加载缓存，导致接口请求上升。
2022-09-21 14:30:30
606
1
原创 案例九：9月16日通用定点应用访问报错：服务器维护升级中
平时对pinpoint关注较少，其实这个问题之前发生过，但是时间是在晚上，如下图，9月12号晚上19:17和20:07两次fullgc的时间分别达到92秒和30秒，因为此时访问的用户较少，所以没有导致流程阻塞，9月16号早上访问的用户较多，此时fullgc会阻塞线程，导致挂起的线程越来越多，cpu占用也越来越高，因为fullgc也需要占用大量的cpu时间，进入恶性循环，最终导致服务挂起。联系单页面报错：很抱歉，服务器维护升级中。起点，青云，阿四，若谷，徐四一起协作排查定位原因，等待晚上下班后再dump。
2022-09-21 14:25:18
228
原创 案例八：3月25日前台下单报错服务器开小差
2. 根据dubbo线程池耗尽这个说明，出问题的接口并发量一定不低，通过日志去找15分钟前10的接口锁定在了9个接口上面，其中最高的getInstanceAndDistrictValue并发每秒峰值能达到2000，当时很怀疑是这个接口。故障描述：metadata-center为解决线上问题执行回滚，但因回滚不充分，引发当时版本和最新版本redis类型不兼容问题，导致网超，通用竞价，通用行业馆，企业购等下单失败。先看了mysql数据库实例，发现cpu很平稳，这期间也没有慢sql，排查数据库引起的问题。
2022-09-21 14:20:28
349
原创 案例七：8月26日 项目采购不可用
现有的接口的在1秒10个并发的情况下，不加status_no索引的QPS是3.1 数据库cpu 100%。对删除的索引做进行当时慢SQL的校验，未对影响面进行排查。硬件成本： 1.增加一个web-biding-open的容器，现有的4个web-bidding-open应用改为5个，3个作为开评标以外的应用，2个作为开评标的应用通过nginx或者致虑的神笔来进行切流。10:35 古德查询受影响的解密供应商，排查到有53个供应商的开始解密时间在早上9点半，状态是未解密的，可能受到了影响，并通知运营。
2022-09-21 14:16:08
515
原创 案例六：8月19日 前台大厅无法搜索
2、ES有query cache机制来缓存（大约3gb），当merge时，缓存会失效，同时会有缓存预热线程reload缓存（高频热点dsl）。现象：segment不断增加(写入)、减小（merge），从10点开始，至15:18分左右下降明显。15:19分(-14) 无涯，查看发现单节点fgc较频繁，立即考虑重启。15:20分(-13) 无涯，找到若谷，申请重启ES有问题5台节点。15:28分(-5) 无涯，线上故障快速处理群-报备。15:32分(-1) 无涯，粗精排降级，减轻ES压力。
2022-09-21 13:55:42
341
原创 案例五：9月18日 商品中心、依赖商品交易异常
09-18 10:41:46 运营审核品牌，恰巧遇到高扇出数据id=1723909（一次操作2988次数据库查询与插入，此操作一共操作了30次，因为后端已经报错，运营侧尝试多次提交，周五晚已经复现)，同时多个运营同时操作了品牌审核，spu 审核（巡检故障导致所有运营审核品牌、spu，诱因非主要原因）（研发）应用重启：采用了dubbo 限流，db限流，未能本质上促使db cpu 下降，应用重启后释放了连接，db cpu 才真正下降，系统恢复正常。
2022-09-21 13:43:55
107
原创 案例四：9月14日 采购计划无法申请/分派
片风检查了配置，发现nginx 转发/api/privileges/getElementsForSettle到/api/privileges/getElement，容器网关里面其实配置了/api/privileges/getElement的转发，但却没有生效，原因是该该域名以及uri是转发到后端web-purchaseplan的。9月14日10:26 修远反馈真线环境https://pay.zcygov.cn/api/privileges/getElementsForSettle转发有问题。
2022-09-21 13:39:41
881
原创 案例三：4月13日竞价单关联采购计划和订单不符
用户在编辑页操作删除老商品，新增新的商品及采购计划时，此时采购计划落库；然后用户刷新页面，与之前落库的采购计划关联的新商品被刷新丢失，页面显示老商品和新的采购计划。重现场景：进入草稿状态的采购单，删除原先商品，然后添加新的商品并关联采购计划后，页面展示的是原始商品和最新的一次采购计划，并且提交的时候无校验。禅道链接：http://corp.cai-inc.com/zentao/bug-view-63434.html。故障类别：系统设计缺陷-功能实现缺陷-场景考虑不充分/文档错误-功能适配范围不明确。
2022-09-21 13:35:17
268
原创 案例二：11月24日供应商后台管理无法打开
在根据dms的监控可知，在这个时间段内有数据库的连接数据，但监控相关sql没有记录，所以请阿里云相关人员协助排查，故障时间期间阿里云服务是否正常。根据排查与分析，初步断定是阿里云方面引起的问题，但阿里云相关人员协助排查当时有无相关变动，最后建议使用sql洞查的功能监控服务的所有sql，sql涉及数据的数据量方面没有增加，sql涉及接口的访问量也没有大幅度的增加，目前可以排除是服务本身的原因引起的慢sql问题。11：00：经分析之前配置中心服务是4个节点，重启后有3个节点，此时部分服务节点的cpu较高。
2022-09-21 13:31:06
296
原创 案例一：7月6日 交易中心metadata_center CPU 跑满100%故障review
交易中心-配置中心应用 metadata_center 应用 CPU 跑满 100%，导致部分用户登录不稳定，项目采购项目开评标解密失败，竞价单报价受影响。
2022-09-21 13:27:05
565
原创 性能测试--正则表达式
正则表达式下面介绍基本的正则表达式使用规则和三种常用的正则表达式的使用方法正则表达式提取规则模板表示使用提取到的第几个值$-1$:表示提取所有值$0$:表示随机取值$1$:表示提取第一个值$2$:表示提取第二个值匹配数字（0代表随机、1代表全部）正则表达式：（）：括起来的部分就是要提取的；.：匹配任何字符串；+：一次或者多次；?:不要太贪婪，找到一个匹配项后停止一、提取两个字符之间的内容正则表达式提取:响应数据中间...
2021-01-22 01:00:41
619
原创 性能测试--性能测试流程
性能测试流程一、测试准备：1、需求分析： 用户有明确需求 用户无明确需求2、建立性能目标：选取核心业务流程‘ 并发用户数 响应时间请求 系统占用资源请求 可拓展性需求3、了解应用软件系统架构 开发语言 通信协议（http/webservice????） 动态seession?? 验证码4、了解软件部署平台物理部署（局域网/虚拟机） 硬件架构（机型/cpu/MEM/IO/网络） 数据库（类型/版本/启动参数/内存...
2021-01-22 00:18:55
292
原创 性能测试--编写测试计划
一、测试资源 角色 具体职责 输出 测试经理 1、进行管理监督； 2、提供技术指导； 3、资源整理以及协调工作； 性能测试方案编写 性能测试计划编写 性能测试设计人员 1、测试用例场景设计； 2、编写性能测试用例； 性能测试用例设计 性能测试脚本开发人员 .
2021-01-22 00:12:15
177
原创 性能测试--jmeter编写性能测试脚本
一、jmeter目录结构jmeter.bat 启动文件jmeter.log 日志jmeter.shjmeter.properties 系统配置文件内存、字符编码、日志jmeter.service.bat windows分布测试要用的服务器配置二、系统压力强度估算测试压力估算时采用原则如下:Ø系统在线用户数取系统总用户数的10%；Ø系统在线用户并发数取在线用户数的20%；系统响应时间判断原则(2-5-10原则)如下:Ø系统业务响应时间小于2秒，判为...
2021-01-22 00:08:27
1015
转载 同步和异步的区别
同步:发送一个请求,等待返回,然后再发送下一个请求异步:发送一个请求,不等待返回,随时可以再发送下一个请求同步可以避免出现死锁，读脏数据的发生，一般共享某一资源的时候用，如果每个人都有修改权限，同时修改一个文件，有可能使一个人读取另一个人已经删除的内容，就会出错，同步就会按顺序来修改。异步则是可以提高效率了，现在cpu都是双核，四核，异步处理的话可以同时做多项工作，当然必须保证是可以并发处理的。同步和异步最大的区别就在于：一个需要等待，一个不需要等待。比如广播，就是一个异步例子。发起者不关心接收者
2021-01-22 00:03:03
229
原创 svn如何建立新的文件夹
1、找到SVN2、打开SVN3、右击选择：ADD folder4、选择文件夹5、创建成功（我的文件夹名字叫：SVN尝试建立文件夹）end~~~
2021-01-14 16:28:25
14014
原创 性能测试中怎么检测CPU情况
压测过程，其中最重要的一部分就是检测CPU的运行情况；那么怎么分析判断是否是CPU的原因？首先查看 QPS，QPS很高，导致cpu自然也高（大流量，水平扩展）然后看到QPS很低，那么再来看CPU情况，如果CPU很高，那么有以下几种情况：（1）Jvm频繁，因为啥fullgc频繁（2）程序死循环（3）在加解密时，会消耗较多的CPU进行处理计算。（4）也有可能一些序列化方式会出现bug造成的高CPU（5）计算密集型应用，需要消耗很多CPU进行计算QPS低，CPU低呢 ？ 最后看一下，想想数据库。
2021-01-14 16:17:27
2251
原创 我遇到的性能压测问题集合（持续更新中）
在测试中，接触到性能压测，过程中遇到了很多性能问题，初遇性能测试时，对于我来说，性能测试简直就是另一个宇宙；下面列出了我在性能测试中的一些问题疑惑，以及我找到的答案。
2021-01-14 16:09:43
724
9
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人