PG Patroni 集群异常日志分析：Leader Lock 更新失败、节点降级（Demote）-CSDN博客

本文链接：https://blog.csdn.net/hezuijiudexiaobai/article/details/148198103

日志信息：

WARNING: failed to update leader lock of postgres-53a334ac-leader
ERROR: failed to update leader lock
INFO: Demoting self ('immediate-nolock')

原因分析：
- Patroni 无法更新 leader lock，这可能是由于以下原因：
  - 网络问题：PG Patroni 节点与 DCS（如 etcd）之间的网络连接不稳定或中断。
  - 权限问题：Patroni 使用的用户权限不足，导致无法更新 leader lock。
  - 配置问题：Patroni 配置文件中的 DCS 地址或参数配置错误。
  - 资源竞争：多个 Patroni 节点同时尝试更新 leader lock，导致冲突。
解决方案：
- 检查网络连接：
  - 确保 Patroni 节点与 DCS 服务之间的网络连接正常。
  - 使用 telnet 或 curl 测试 Patroni 节点与 DCS 服务的连通性。
- 检查权限配置：
  - 确保 Patroni 使用的用户具有足够的权限来更新 leader lock。
- 检查配置文件：
  - 检查 Patroni 配置文件中的 etcd 或其他 DCS 相关配置是否正确。
- 检查 DCS 服务状态：
  - 确保 DCS 服务（如 etcd）正常运行，可以查看 DCS 服务的日志以获取更多信息。

日志信息：

INFO: Demoting self ('immediate-nolock')
INFO: reaped pid=1816619, exit status=0
INFO: demoted self because failed to update leader lock in DCS

原因分析：
- Patroni 节点由于无法更新 leader lock，触发了自我降级机制，从 leader 角色降级为 follower 角色。
解决方案：
- 解决 leader lock 更新问题：按照上述解决方案排查和解决 leader lock 更新失败的问题。
- 检查集群状态：使用 patronictl list 命令查看集群状态，确认其他节点是否正常工作。

日志信息：

[root@qmaster-002 0523]# ka logs postgres-53a334ac-1-0 -c postgres --tail=30

和

[root@qmaster-002 0523]# ka logs postgres-53a334ac-1-0 -c postgres --tail=30

原因分析：
- Kubernetes 调度器可能将多个 Patroni 节点调度到了同一节点上，导致资源竞争。
- 或者 Kubernetes 节点的资源不足，导致 Patroni 节点无法正常运行。
解决方案：
- 检查 Kubernetes 调度策略：
  - 确保 Kubernetes 调度策略避免将多个 Patroni 节点调度到同一节点。
  - 使用 PodAntiAffinity 规则来分散 Patroni 节点。
- 检查节点资源：
  - 确保 Kubernetes 节点有足够的资源（CPU、内存等）来运行 Patroni 节点。
  - 使用 kubectl top nodes 和 kubectl top pods 命令查看节点和 Pod 的资源使用情况。

查看 Patroni 配置：
- 确保 Patroni 配置文件中的 scope、namespace、etcd 等参数配置正确。
查看 DCS 日志：
- 检查 DCS 服务（如 etcd）的日志，确认是否有相关的错误或警告信息。
检查 Kubernetes 事件：
- 使用 kubectl get events 命令查看 Kubernetes 集群中的事件，确认是否有相关的错误或警告信息。