curl 慢不稳定_【k8s】etcd集群took too long to execute慢日志告警问题分析

最新推荐文章于 2023-10-29 16:06:15 发布

weixin_28863429

最新推荐文章于 2023-10-29 16:06:15 发布

阅读量3.3k

点赞数 3

文章标签： curl 慢不稳定

本文链接：https://blog.csdn.net/weixin_28863429/article/details/112116032

版权

文章详细记录了一起由于curl不稳定导致k8s etcd集群出现大量'took too long'慢日志告警的问题。分析过程包括了问题背景、记录、原因排查，最终确定为cronjob控制器大量列举job引起。解决方案是配置job的ttlSecondsAfterFinished以减轻etcd查询压力，并提出改进措施。

摘要由CSDN通过智能技术生成

背景

目前机器学习平台后端采用k8s架构进行GPU和CPU资源的调度和容器编排。总所周知，k8s的后端核心存储使用etcd进行metadata持久化存储。机器学习平台采取External etcd topology结构进行etcd的HA部署。

etcd集群的稳定性直接关系到k8s集群和机器学习平台的稳定性。odin平台直接接入etcd集群的慢日志(etcd请求操作>100ms)告警，实时监控etcd的稳定性。

问题记录

2020-01-06 运维同学反馈2019年12月中旬etcd慢日志监控出现大量的告警记录，而且告警呈上升趋势。

2020-01-20 运维同学继续反馈etcd慢日志告警数量继续上涨，未呈现稳态趋势。

问题分析

2020-01-06 运维同学反馈告警问题时，当时怀疑etcd 集群磁盘latency性能问题，通过etcd metrics接口dump backend_commit_duration_seconds 和 wal_fsync_duration_seconds，latency区间在128ms。etcd官方文档what-does-the-etcd-warning-apply-entries-took-too-long-mean 建议排查磁盘性能问题，保证 "p99 duration should be less than 25ms"。和运维同学讨论，先将etcd设置的慢日志阈值调整到100，继续跟踪告警问题。

root@xxx-ser00:~$ curl -L -s http://localhost:2379/metrics | grep backend_commit_duration_seconds
# HELP etcd_disk_backend_commit_duration_seconds The latency distributions of commit called by backend.
# TYPE etcd_disk_backend_commit_duration_seconds histogram
etcd_disk_backend_commit_duration_seconds_bucket{le="0.001"} 28164
etcd_disk_backend_commit_duration_seconds_bucket{le="0.002"} 357239
etcd_disk_backend_commit_duration_seconds_bucket{le="0.004"} 1.9119004e+07
etcd_disk_backend_commit_duration_seconds_bucket{le="0.008"} 2.07783083e+08
etcd_disk_backend_commit_duration_seconds_bucket{le="0.016"} 3.02929134e&#