关系型数据库服务出现宕机宕机原因记录

关系型数据库服务出现宕机现象，数据库异常重启，并且重启后数据库持续处于只读状态，直到DBA手动打开数据库读写状态，才恢复正常访问。经分析，主要原因如下：
1、 当时故障前进行压力测试，QPS 28000，TPS 12800;审计插件(第三方开源插件MariaDB Audit Plugin)，导致数据库异常重启。MariaDB Audit Plugin采用sql审计的方式，将来的数据库审计可以采用旁路网络流量采集方式，生产环境将来采用哪种方案要与DBA一起沟通制定策略。
2、关于数据库因审计插件宕机重启后并没有做主从切换的原因，首先在数据库高可用容灾系统中，针对数据库实例宕机或重启，但服务器正常运转的情况，不会触发HA切换逻辑。主要考虑数据一致性的原因，数据库重启前，因压测压力过大，数据库将半同步自动降级为异步，主库binlog内容很可能并未同步到从库服务器上，如果在此时进行主从切换，就会导致主库和从库处于数据差异，造成数据一致性。出于对数据一致性的考虑，这种情况不会进行数据库的主从切换。
3、关于重启时间长达6分钟的原因分析，重启时间主要消耗在数据库再次启动的过程中，启动过程中要尝试recovery操作，需要把redolog中的操作都apply到数据页中，同时需要对undo中的操作进行回滚。此过程也消耗一些时间。因为当时处于压测状态，QPS28000,TPS12800，读写操作已经非常频繁，会产生较大的redo和undo，启动环节需要消耗较长时间进行修复操作。
4、关于重启后数据库处于只读状态的原因，因为数据库重启原因多种多样，有种可能因为数据块损坏，此时如果重启后数据库继续写入数据，会引起数据错乱或其它未知故障。同时，数据库重启后处于只读状态是出于避免数据库集群出现多个写入点，造成脑裂的现象。
5、对担心压测过程中审计功能再出现类似的情况，建议从关系型数据库服务上把审计插件先卸载掉，卸载后重启数据库(大约1分钟)。