weixin_39023857的博客

平时对pinpoint关注较少，其实这个问题之前发生过，但是时间是在晚上，如下图，9月12号晚上19:17和20:07两次fullgc的时间分别达到92秒和30秒，因为此时访问的用户较少，所以没有导致流程阻塞，9月16号早上访问的用户较多，此时fullgc会阻塞线程，导致挂起的线程越来越多，cpu占用也越来越高，因为fullgc也需要占用大量的cpu时间，进入恶性循环，最终导致服务挂起。联系单页面报错：很抱歉，服务器维护升级中。起点，青云，阿四，若谷，徐四一起协作排查定位原因，等待晚上下班后再dump。

2. 根据dubbo线程池耗尽这个说明，出问题的接口并发量一定不低，通过日志去找15分钟前10的接口锁定在了9个接口上面，其中最高的getInstanceAndDistrictValue并发每秒峰值能达到2000，当时很怀疑是这个接口。故障描述：metadata-center为解决线上问题执行回滚，但因回滚不充分，引发当时版本和最新版本redis类型不兼容问题，导致网超，通用竞价，通用行业馆，企业购等下单失败。先看了mysql数据库实例，发现cpu很平稳，这期间也没有慢sql，排查数据库引起的问题。

现有的接口的在1秒10个并发的情况下，不加status_no索引的QPS是3.1 数据库cpu 100%。对删除的索引做进行当时慢SQL的校验，未对影响面进行排查。硬件成本： 1.增加一个web-biding-open的容器，现有的4个web-bidding-open应用改为5个，3个作为开评标以外的应用，2个作为开评标的应用通过nginx或者致虑的神笔来进行切流。10:35 古德查询受影响的解密供应商，排查到有53个供应商的开始解密时间在早上9点半，状态是未解密的，可能受到了影响，并通知运营。

2、ES有query cache机制来缓存（大约3gb），当merge时，缓存会失效，同时会有缓存预热线程reload缓存（高频热点dsl）。现象：segment不断增加(写入)、减小（merge），从10点开始，至15:18分左右下降明显。15:19分(-14) 无涯，查看发现单节点fgc较频繁，立即考虑重启。15:20分(-13) 无涯，找到若谷，申请重启ES有问题5台节点。15:28分(-5) 无涯，线上故障快速处理群-报备。15:32分(-1) 无涯，粗精排降级，减轻ES压力。

09-18 10:41:46 运营审核品牌，恰巧遇到高扇出数据id=1723909（一次操作2988次数据库查询与插入，此操作一共操作了30次，因为后端已经报错，运营侧尝试多次提交，周五晚已经复现)，同时多个运营同时操作了品牌审核，spu 审核（巡检故障导致所有运营审核品牌、spu，诱因非主要原因）（研发）应用重启：采用了dubbo 限流，db限流，未能本质上促使db cpu 下降，应用重启后释放了连接，db cpu 才真正下降，系统恢复正常。

片风检查了配置，发现nginx 转发/api/privileges/getElementsForSettle到/api/privileges/getElement，容器网关里面其实配置了/api/privileges/getElement的转发，但却没有生效，原因是该该域名以及uri是转发到后端web-purchaseplan的。9月14日10:26 修远反馈真线环境https://pay.zcygov.cn/api/privileges/getElementsForSettle转发有问题。

在根据dms的监控可知，在这个时间段内有数据库的连接数据，但监控相关sql没有记录，所以请阿里云相关人员协助排查，故障时间期间阿里云服务是否正常。根据排查与分析，初步断定是阿里云方面引起的问题，但阿里云相关人员协助排查当时有无相关变动，最后建议使用sql洞查的功能监控服务的所有sql，sql涉及数据的数据量方面没有增加，sql涉及接口的访问量也没有大幅度的增加，目前可以排除是服务本身的原因引起的慢sql问题。11：00：经分析之前配置中心服务是4个节点，重启后有3个节点，此时部分服务节点的cpu较高。

交易中心-配置中心应用 metadata_center 应用 CPU 跑满 100%，导致部分用户登录不稳定，项目采购项目开评标解密失败，竞价单报价受影响。

一次性能问题排查过程分享

dubbo接口读取csv文件进行压测

正则表达式下面介绍基本的正则表达式使用规则和三种常用的正则表达式的使用方法正则表达式提取规则模板表示使用提取到的第几个值$-1$:表示提取所有值$0$:表示随机取值$1$:表示提取第一个值$2$:表示提取第二个值匹配数字（0代表随机、1代表全部）正则表达式：（）：括起来的部分就是要提取的；.：匹配任何字符串；+：一次或者多次；?:不要太贪婪，找到一个匹配项后停止一、提取两个字符之间的内容正则表达式提取:响应数据中间...

性能测试流程一、测试准备：1、需求分析： 用户有明确需求 用户无明确需求2、建立性能目标：选取核心业务流程‘ 并发用户数 响应时间请求 系统占用资源请求 可拓展性需求3、了解应用软件系统架构 开发语言 通信协议（http/webservice????） 动态seession?? 验证码4、了解软件部署平台物理部署（局域网/虚拟机） 硬件架构（机型/cpu/MEM/IO/网络） 数据库（类型/版本/启动参数/内存...

一、jmeter目录结构jmeter.bat 启动文件jmeter.log 日志jmeter.shjmeter.properties 系统配置文件内存、字符编码、日志jmeter.service.bat windows分布测试要用的服务器配置二、系统压力强度估算测试压力估算时采用原则如下:Ø系统在线用户数取系统总用户数的10%；Ø系统在线用户并发数取在线用户数的20%；系统响应时间判断原则(2-5-10原则)如下:Ø系统业务响应时间小于2秒，判为...

一、测试资源 角色 具体职责 输出 测试经理 1、进行管理监督； 2、提供技术指导； 3、资源整理以及协调工作； 性能测试方案编写 性能测试计划编写 性能测试设计人员 1、测试用例场景设计； 2、编写性能测试用例； 性能测试用例设计 性能测试脚本开发人员 .