核心MySQL主库优化总结

    公司核心主库,在我来公司时是1主5从库(腾讯云RDS),外加7个自建级联从库。

    从2020年2月到2021年8月优化总结:

         1,  7个自建多级从库,从以前的中转同步改成从一级从库同步,废弃了5个从库实例,还有1个给大数据用,另外一个做备用

         2,数据库容量控制, 期间清理出400多G空间的表数据

         3,1主5从发展到了1主13从库

         4,优化12个实例的每天4万次的慢SQL(超过1秒)

         5,通过导入ELK的SQL审计日志,发现部分表查询次数过高,优化后减少调用7350万+次

         6,通过导入ELK的SQL审计日志,发现数据安全事故

         7,通过导入ELK的SQL审计日志,快速帮助研发定位线上问题

         8,废弃了以前研发直连线上库查询数据方式

         9,协助拆分表到其他MySQL实例,减少耦合,其中附件表(104G)拆分,经历8个月,考验耐心和协调能力等

        10,从2020年5月份到2021年8月中,每1-2周,发送主库实例优化报告邮件,给领导和同事汇报。

                   每周都想下周能优化什么,记得有次到周四上午没找到可优化地方,以为下周优化邮件就没得写,没想到下午就找到优化的地方,真是心想事成。

        11,处理了几十起数据库故障

             (连接数曝高(PHP程序),从库硬件故障,CPU曝高,主库升级bug全部从库回放异常,TPS曝高(同步程序大批量写),从库长时间延迟, 模糊Like查询(改到ELK), QPS曝高,长事务未提交,高并发异常,Redis带宽被限异常,Redis的CPU持续80%等)

        12,部署长事务监控,shell慢SQL自动发送邮件,每10秒保存Processlist信息等程序

        13,程序化将14个MySQL实例的SQL审计日志导入到ELK(14实例每天4亿+条SQL执行日志)

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值