记录一次生产环境cpu负载高问题

背景：由于疫情，本人负责的项目使用者激增，dau从几百到几万的变化，服务器扩容过，jvm也调试过，xmx从1G到1.5G，xss从128k到256，但是也只能维持一周左右，项目的负载一直特别高，4核的cpu，load average一度达到13，使用率达到350%。。。

影响：由于项目微服务部署，而且服务器上还部署了其它服务，导致io请求特别慢，且其它服务也因为我的项目而请求超时，崩溃中

条件有限，只能找出负载高的原因了。。。。

从服务器dump下来文件，改名为base.hprof，然后用MemoryAnalyzer.exe打开，分析如图下

 

 

可以看出有两个问题

1-QueryPlanCache过多，缓存了很多hql

2-有125788个PoolingHttpClientConnectionManager对象

原因1：因为用的hibernate，有些hql语句直接用字符串拼接参数，没有使用占位符形式来传参，导致hql语句全部缓存下来了，默认2G大小

原因2：当前对象是OSS的client对象，在用oss传输文件时候，创建了很多client，然后没有关闭client的连接，导致堆积了很多对象

解决办法1：设置hibernate参数，减少缓存大小，同时将hql语句改成占位符形式传参

hibernate.query.plan_cache_max_size=512

hibernate.query.plan_parameter_metadata_max_size=128

解决办法2：如果oss使用频次高，使用多线程来提高oss传输效率，同时在oss传输完了使用client.shutdown();关闭连接