[问题跟进]解决Allocation stall延时过高问题

问题背景：

3月15日巡检时发现，ai-operation-controller在5点左右出现性能尖刺，p99高达1500+ms

问题结论：

【直接原因】堆内存被占满，导致部分线程阻塞
【根本原因】get-all-semantic-infos接口请求异常

• 分析回收时堆的情况
  

从垃圾回收的前后堆信息可以看出，High used已经达到100%

• 观察并分析stall 信息
  
  

从日志中可以看到, 在尖刺出现的附近出现大量的Allocation Stall的日志，阻塞时间过长有500+ms

• 优化配置上线后
  

allocation stall情况明显缓解，为了防止刚上线不久，仍需观察一段事件

• get-all-semantic-infos请求情况
  下图为get-all-semantic-infos接口的监控图，15日16点上线新配置，可以看到每天凌晨5点左右有异常请求的情况
  
  

解决方案：

• 优化参数
  [1] 增加jvm参数 -XX:ZAllocationSpikeTolerance=5 -XX:ZCollectionInterval=5, 使回收频率更快
  [2] 上线prev观察
  [3] 上线prod
• get-all-semantic-infos服务迁移