记录：数据库出现P0告警原因分析和反思

 

告警

数据库内存告警，内存使用率=92%>80%

追查原因

1.Grafana数据库监控平台初步确认数据库当前cpu和内存使用率值

 

2.阿里云的polardb性能监控，查看详细的数据指标

通过阿里云数据库监控可以看到，每秒操作数据数激增，如下图：

 

小知识

每秒事务数：

是指数据库每秒钟能够处理的事务数量，其中事务指一组有序的数据库操作，如插入、更新或删除等。TPS通常是用来衡量数据库系统的事务处理能力的，因此对于那些高并发访问的数据库，TPS是一个很重要的性能指标。

每秒数据操作数：

是指数据库每秒钟能够执行的数据操作数量，其中数据操作包括查询、插入、更新、删除等数据库操作。DPS通常是用来衡量数据库系统的数据处理能力的，因此对于那些需要大量数据处理的数据库，DPS是一个很重要的性能指标

3.流量来源追踪：

查看该数据库的几个服务监控，发现其中迁移服务的流量激增

4.同步观察其他异常

4.1 redis性能监控

内存使用率比日高峰高，翻了接近3倍（日高峰<30%，但是23:39内存使用流程86%）

 

4.2.搜索服务

服务的日常流量在1k左右，当前导致qps直接上升到4k（4倍）

 

接口的qps激增如下图：可以看到数据批量同步接口的QPS上涨

 5.原因确认

由于业务侧进行批量数据修复，每个pod开启了100个线程进行数据变更处理：

5.1 导致polardb数据库的内存>92%,触发告警

5.2 导致搜索服务的qps直接上升到4k（4倍）

5.3 由于修复数据内容变更越多dts这块幂等key会变多，所以redis的内存指标会上升86%

小知识

在使用DTS（Data Transmission Service）进行数据同步时，幂等性是非常重要的概念，它确保在进行重试或发生异常时不会对数据造成重复或损失。

对于幂等键（Idempotence Key），通常是在数据同步时使用的唯一标识符，以确保在进行重试时不会重复写入数据。如果内容变更越多，幂等键可能会变多，这可能会导致以下几个影响：

增加数据同步的复杂度：随着幂等键的增加，可能需要额外的工作来管理和维护这些键。这可能需要额外的开发工作，并且可能会增加出现错误的可能性。

增加存储空间：幂等键通常需要存储在目标数据源中，以确保同步数据的幂等性。因此，随着幂等键的增加，可能需要增加存储空间。

增加网络带宽：随着幂等键的增加，需要在网络上传输更多的数据。这可能会增加网络延迟，并增加网络带宽成本。

综上所述，幂等键的增加可能会对数据同步的复杂度、存储空间和网络带宽产生影响。因此，建议在确定幂等键时仔细考虑，并选择能够确保数据同步幂等性的最小集合。

总结思考

    之前进行过服务的容量评估，可以支持到3倍qps，今天由于业务侧的非常规操作，导致服务的流量直接打到了日常高峰期的4倍。由此可见，之前进行的容量评估是准确的，当前的资源可支持3倍QPS。但是同时也暴露了一个问题，我们的服务自身无防御措施，等于在裸奔，就算我们评估了3倍的容量，但是业务侧这样的非常规操作导致的流量激增，会直接打挂我们的服务。所以安全保险起见，我们的服务自身要有对应的防御措施，例如限流、熔断等，给业务侧设定极限，超过该极限的情况一律进行特殊处理，不直接请求到服务，避免引起大面积的慢请求异常，影响其他的业务线。

个人学习经验积累会同步更新到个人公众号“豆秸的测试之路”欢迎共同学习进度～