容器启动prometheus报错‘opening storage failed: lock DB directory: resource temporarily unavailable’

#helm安装的prometheus启动失败查看日志发现报错
ts=2024-04-12T08:49:12.947Z caller=main.go:1116 level=error err="opening storage failed: lock DB directory: resource temporarily unavailable"

#这是由于prometheus把本地db文件lock锁住了，在新来的pod访问不了这个文件，所以需要删除lock文件

我的用的是共享存储进行数据持久化

[root@KS-STAG-NODE01 ~]# mount -t nfs -o vers=3,nolock,proto=tcp,noresvport 10.200.0.216:/cfs-1dDlJAb8KM /mnt
[root@KS-STAG-NODE01 ~]# cd /mnt/cattle-monitoring-system-prometheus-rancher-monitoring-prometheus-db-prometheus-rancher-monitoring-prometheus-0-pvc-246c0c18-b5f7-4e78-a32b-ce357e6e8866/prometheus-db
[root@KS-STAG-NODE01 prometheus-db]# ll
total 56
drwxr-xr-x 3 haima 2000  4096 Apr 10 01:00 01HV1WTVM53PDZD3ZA879SZS9M
drwxr-xr-x 3 haima 2000  4096 Apr 10 19:00 01HV3TME0K4T4PTT282JP4205E
drwxr-xr-x 3 haima 2000  4096 Apr 11 13:00 01HV5RE23N76HV8VTHJG8TVDH1
drwxr-xr-x 3 haima 2000  4096 Apr 12 07:00 01HV7P7JFERH6CE0DKTWZKVGET
drwxr-xr-x 3 haima 2000  4096 Apr 12 16:54 01HV8R7SZHTQFR9QENDBFK3RAZ
drwxr-xr-x 3 haima 2000  4096 Apr 12 16:54 01HV8R7W69S12Y5630X7CAJV4J
drwxr-xr-x 3 haima 2000  4096 Apr 12 16:54 01HV8R805N4NAN15EQB13XGJ13
drwxr-xr-x 2 haima 2000  4096 Apr 12 16:54 chunks_head
-rw-r--r-- 1 haima 2000     0 Apr 12 16:54 lock
-rw-r--r-- 1 haima 2000 20001 Apr 12 17:08 queries.active
drwxr-xr-x 3 haima 2000  4096 Apr 12 16:54 wal
[root@KS-STAG-NODE01 prometheus-db]# rm lock
[root@KS-STAG-NODE01 prometheus-db]# cd ~
[root@KS-STAG-NODE01 ~]# umount /mnt


Prometheus的锁文件用于确保在一个时间点只有一个Prometheus实例可以访问其数据目录。这样做是为了防止多个Prometheus实例同时写入或修改数据，从而避免数据损坏或不一致。

当Prometheus启动时，它会尝试获取一个锁文件，如果成功获取到锁，就意味着它是唯一一个正在运行的Prometheus实例，并且可以安全地访问其数据目录。如果另一个Prometheus实例已经持有锁文件，则新的Prometheus实例将无法启动，并且会出现类似"opening storage failed: lock DB directory: resource temporarily unavailable"的错误消息。

当Prometheus实例关闭时，它会释放锁文件，以便其他实例可以获取锁并访问数据目录。

总而言之，锁文件有助于确保Prometheus实例之间的数据一致性和完整性，并防止数据损坏或冲突。