​insert带来的TiDB集群性能瓶颈排障

女主宣言

本文通过分析TiDB线上集群的一次业务问题，整理了故障排查的思路，结合这个案例也可以让有类似潜在威胁的同学提前规避。

PS：丰富的一线技术、多元化的表现形式，尽在“360云计算”，点关注哦！

1

问题背景

线上某业务将数据导入新建物理分表，指定了shard_row_id_bit 以及 pre_split_region来避免热点。几天后的凌晨，集群出现qps骤降和 duration 耗时异常。

集群版本：v3.0.5
集群配置：普通SSD磁盘，128G内存，40 核cpu
tidb21 TiDB/PD/pump/prometheus/grafana/CCS
tidb22 TiDB/PD/pump
tidb23 TiDB/PD/pump
tidb01 TiKV
tidb02 TiKV
tidb03 TiKV
tidb04 TiKV
tidb05 TiKV
tidb06 TiKV
tidb07 TiKV
tidb08 TiKV
tidb09 TiKV
tidb10 TiKV
tidb11 TiKV
tidb12 TiKV
tidb13 TiKV
tidb14 TiKV
tidb15 TiKV
tidb16 TiKV
tidb17 TiKV
tidb18 TiKV
tidb19 TiKV
tidb20 TiKV
wtidb29 TiKV
wtidb30 TiKV

2

问题现象和分析过程

6 月 21 日凌晨 01：24分左右，qps大幅骤降，durtation大幅增高，监听及报警包含如下：

集群region数量和大小上涨缓慢，且此时没有大规模region balance：

pd监控显示各节点磁盘消耗停滞:

tidb --> kv error 监控面板下面出现下述的告警信息：