起因
有业务反馈构建容器镜像失败,查看代理日志和监控发现 4xx、5xx 响应码有增长,起初怀疑是后端服务响应慢,排查后没有发现异常,然后发现了 nginx 主机的 io 很高,iostat 看utilization 到 100%,iotop 查看只有 nginx 在大量写磁盘,第一反应是 proxy buffer 落盘了
基本信息
我们的镜像仓库共有新旧两套,通过 nginx 上配置的规则做转发,主 nginx001/002 是万兆网卡,此时两台主机都出现了 io 爆满的情况,备用 nginx 也承载其他环境的请求
应急处理
影响范围:影响业务构建和发布
构建上针对有反馈的业务紧急处理:
- 其中一台构建机修改 host,绕过主 nginx 通过备用 nginx 代理至镜像仓库
先后的处理方式:
- 切回老的 registry 仓库,评估需要同步数据+关闭构建,放弃 【确定问题原因之前】
- 关闭 proxy_buffer,不确定是否会导致问题更严重,放弃
- 调大