TIDB-TIDB节点磁盘已满报警

一、背景

今日突然收到tidb节点的磁盘报警，磁盘容量已经超过了80%，但是tidb是不放数据的，磁盘怎么会满，这里就需要排查了

二、问题排查

解决步骤

1.df -h查看哪里占用磁盘比较多,然后通过du -h找到具体占用多的目录

2.最终发现tidb/tidb-deploy/tidb-4000/log这个目录下的数据非常大

3.查看目录内容是慢日志和一些tidb系统日志

4.解决办法设置日志过期时间

4.1 修改配置文件

tiup cluster edit-config tidb-test

4.2 修改内容如下

server_configs:
  tidb:
    new_collations_enabled_on_first_bootstrap: true
    log.file.max-days: 7 # 这块为新家的内容，默认为0，永不过期
  tikv: {}
  pd:
    replication.enable-placement-rules: true

4.3 将配置文件载入集群

tiup cluster reload tidb-test -R tidb

三、官网配置文件下详情

1.tidb:https://docs.pingcap.com/zh/tidb/stable/tidb-configuration-file

2.tikv:https://docs.pingcap.com/zh/tidb/stable/tikv-configuration-file

3.tiflash:https://docs.pingcap.com/zh/tidb/stable/tiflash-configuration

4.pd:https://docs.pingcap.com/zh/tidb/stable/pd-configuration-file