清理prometheus监控历史数据

# 18、清理prometheus（监控）历史数据

转至元数据起始

现象：1.监控大盘主机，/data磁盘使用率100%

      2.开发者中心首页所有主机显示“未添加监控”；

思路：1.缩短prometheus的监控数据保存期限（平台默认保存期限为30天）；

      2.最优解决方案是客户为主机增加磁盘。

注意：此方案只是临时解决方案，平台的默认监控数据默认保存时间没有变化。

1.查看prometheus运行状态，并停止

systemctl stop prometheus

docker ps -a |grep prome

systemctl status prometheus

2.备份prometheus命令

mkdir /data/yonbak/

cd /yonbak/

docker cp prometheus:/bin/prometheus .

 

3.在备份目录执行以下命令，修改监控数据保留期限15天

./prometheus \

  --config.file=/data/monitor/prometheus/conf/prometheus.yml \

  --web.enable-lifecycle \

  --storage.tsdb.path=/data/monitor/prometheus/data \

  --storage.tsdb.retention=15d

   执行 此命令后，终端不会退出，可以查看日志是否正常输出，并确认没有出现大量异常报错，同时查看磁盘空间是否已经释放（约 5-6分钟）。

   检测命令：curl http://ip:9090/alerts

4.确认一切正常后，退出终端

ctrl + c  

5.启动prometheus 和 grafana

systemctl start prometheus

systemctl  restart grafana

6.检查prometheus和grafana的运行状态，

docker logs prometheus

curl http://ip:9090/alerts