问题表现
生产出现ng经常502,后通过监控mysql服务器cpu飙高
出现CPU飙高时操作
出现cpu飙高时使用先试用top命令查看进程,确定是java进程还是mysql 找到进程号 <pid>
一、如果是mysql
1、那么使用mysql终端或者数据库链接工具执行如下sql语句查看正在执行的sql:show processlist
2、查询慢sql,截取慢sql文件前面10000行数据导出来分析
3、查询进行中的事务,SELECT * FROM information_schema.INNODB_TRX
二、如果是java进程
1、执行命令查看占用最高的线程<tid> :top -H -p
2、把线程占用最高的id转换为16进制 <tid16> :printf “0x%x\n” <tid>
3、打印线程堆栈 :jstack <pid> > /home/finance/jstack.log
4、打开jstack.log 找到步骤3中的十六进制线程号 进行分析 搜索:nid=<tid16> 找到线程名和代码位置
事后分析:
一、mysql
1、分析show processlist 结果中的info查看sql问题,首先使用explain查看执行计划效率,如果效率无问题,查看是否调用频繁比如循环中不停调用
2、分析慢sql使用explain查看执行计划,效率有问题优化sql、优化索引
3、是否有事务死锁,如果有查看原因
二、JAVA
jsatck.log定位到代码后直接分析代码
已确定mysql服务器cpu飙高:因此分析慢sql
数据量
cbcc_work_order:5022940
cbcc_market_call_list:1994558
cbcc_work_order_visble_org:9022940
在慢sql发现该sql频繁出现
select *
left join sys_organization t1 on t1.ID=t0.ORG_ID
left join sys_organization t2 on t0.RV_ORG_ID=t2.ID
where t0.info_sources_code='13' and t0.org_id=#{orgId} and t0.status=1 and t0.dept_code=1 and t0.deleted=0 and t0.create_time >= '2020-01-01 00:00:00'
原因为其中info_sources_code为int内容导致索引失效 ,并且前端轮训调用此接口,几乎3秒调用一次,因此使用用户上涨时,mysql cpu马上就上来了
解决方案很简单,上述sql中info_sources_code='13’改为 info_sources_code=13即可