性能异常场景问题分析

1、“ES数据库重启后，微服务应用无法自动重连。”检查发现数据库版本httplient版本问题，不是最新。

2、MQ主节点故障演练：停止MQ的一个主节点后，推送故障节点的消息未转移到其他节点，且消息消费也未转移其他节点（主节点停止后备节点状态为down）

解决方法：通过将Rabbitmq集群模式从内存节点改为磁盘节点，实现MQ集群节点消息通道共享。

3、redis主从切换：关闭主节点后，应用无法自动连接。经查，当前环境采用IP直连访问主节点，所以主节点宕机后，须手动更改数据库IP，重启应用。

解决方法：部署自动切换（数据库改为域名访问，增加主从节点切换检测及域名切换脚本）。

4、redis主节点故障：redis集群已完成主从切换，容器仍连接原故障主节点，流量无法切换到新的主节点。

解决方法：应用通过Lettuce连接redis，未开启拓扑刷新功能，无法自动刷新集群信息。进行spring-data-redis.jar包升级，在application.yaml配置文件内新增配置：refresh:adaptive:true，开启redis cluster拓扑刷新功能。

5、kafka网络丢包率50%：中间机同步工具统计的同步数量低于数据库表的数量，存在数据遗漏。

解决方法：对同步工具yloader进程增加参数：delay_remove_sec=0，表示yloader进程对yxad进程发送数据不启用延迟删除功能。

6、数据库数据库切换到只读库：耗时高，并且交易全部失败，数据库连接未及时释放。

解决方法：交易入口进行逻辑控制，判断在只读库下，涉及写库联系交易直接抛异常，对查询类和写库类交易进行区分处理。

7、其他问题

负载均衡设备与应用服务之间为长连接时，不推荐使用最小连接数的负载均衡算法。