容器修仙传 我的灵根是Pod 第13章 观星台（监控体系）

终卷：云原生天道·大乘篇

第13章 观星台（监控体系）

---

星河倒悬，观星台的「周天星辰仪」发出刺耳鸣响。

三千六百枚星辰玉简（Prometheus指标）在星轨上疯狂震颤，其中一枚刻有「东荒-丹房」的玉简已完全赤红。云璃素手轻挥，玄光镜（Grafana）中投射出骇人景象——丹房分身的灵力循环（内存使用率）突破九成，随时可能自爆！

"不是丹炉失控…"林衍的混沌灵根穿透虚空，"是「蚀灵蛊」在偷食缓存！"他清晰看到分身识海中，暗影阁种下的蛊虫（内存泄漏进程）正通过process_resident_memory_bytes指标伪装成正常炼丹术。

「知识点映射」

周天星辰仪=Prometheus；玄光镜=Grafana仪表盘

---

溯源之战！

云璃结出「溯光诀」（PromQL查询）：

topk(3, container_memory_working_set_bytes{namespace="丹房"})  

玄光镜中顿时浮现三个最耗灵力的丹炉：

1. 九转回魂炉（pod: danlu-1234）：正常波动
2. 玄冰凝神炉（pod: danlu-5678）：曲线陡升
3. 蚀灵蛊母炉（pod: danlu-6666）：指标异常但标签伪造

"好个偷天换日！"林衍剑气直指母炉，却发现其标签与正常丹炉无异。云璃冷笑，激活星辰仪的「真言咒」（指标元数据）：

kube_pod_labels{label_app="暗影阁"}  

母炉标签瞬间褪去伪装，露出app="蚀灵蛊"的狰狞面目！

---

子夜，星辰仪核心。

林衍发现更可怕的危机——某个星辰玉简的kubelet_volume_stats_available_bytes指标显示，剑冢节点的存储空间正被未知力量吞噬。玄光镜时间序列显示：

1. 未时三刻：存储剩余80%
2. 申时六刻：暴跌至30%
3. 戌时整：触发「剑灵哀鸣」警报（Alertmanager规则）

"是‘噬空兽’！"云璃剑指星图某处，“看这里——”

sum(rate(container_fs_writes_bytes_total{device=~"/dev/.*"}[5m])) by (pod)  

玄光镜中，某个剑冢守卫分身的磁盘写入量竟是其他分身的千倍！

---

诛魔与修复并行！

云璃分神三处：

1. 左神念：在Alertmanager布下「九霄雷音阵」（警报路由），将存储告警直传长老院
2. 右神念：于Grafana刻录「两仪监控盘」（Dashboard JSON），同时展示CPU/内存/存储关键指标
3. 本尊：操纵星辰仪注入「固本培元咒」（垂直Pod自动缩放）

林衍则潜入剑冢节点，混沌灵根化作利刃：

1. 用kubectl exec进入暴走分身识海
2. 通过pprof定位到噬空兽藏匿的剑诀（堆内存分析）
3. 注入「归墟剑气」（SIGTERM信号）终结进程

---

黎明前的黑暗。

当最后一只噬空兽消散时，星辰仪突然发出比之前更刺耳的警报——所有指标瞬间归零！玄光镜映出令人窒息的画面：

up{job="天调度宗"} == 0  

整个宗门的监控体系全面瘫痪。

"是星辰仪本体被攻击！"云璃嘴角溢血，“有人在篡改「时空抓取法则」（Prometheus配置）！”

林衍的混沌灵根逆溯星轨，发现暗影阁竟通过scrape_configs注入了虚假目标（恶意抓取配置）。他立刻施展「大净化术」（配置校验）：

- job_name: '剑冢'  
  honor_labels: true  
  kubernetes_sd_configs:  
  - role: pod  
    namespaces:  
      names: ['剑冢']  
  relabel_configs:  
  - source_labels: [__meta_kubernetes_pod_label_app]  
    regex: '剑侍|剑灵'  
    action: keep  

虚假目标如遇烈阳的霜雪般消融！

---

**三日后，观星台传道。

云璃向宗门弟子演示「监控天道」：

1. 星辰仪核心（Prometheus Server）：每30息抓取一次星轨（抓取间隔）
2. 星轨存储器（TSDB）：保存15日星象（数据保留策略）
3. 玄光镜要诀（Grafana变量）：

query_result(avg_over_time(container_memory_usage_bytes{namespace=~"$namespace"}[5m]))  

她突然剑指某个异常波形：“看这「炼丹炉温度」（CPU指标），虽未超限但呈锯齿状——定是「冷火反噬」（线程竞争）！”

---

月夜，林衍重构星辰。

他将混沌灵根分裂为微缩宇宙：

1. Exporter符咒（Node Exporter）附着每处灵脉
2. 警报剑阵（Alertmanager）按危机等级分流：
   • 红色警报直通本命剑（电话通知）
   • 黄色警报写入传音符（Slack webhook）
3. 星辰推演术（Recording Rule）：

- name: 天机预警  
  rules:  
  - record: 炼丹成功率  
    expr: sum(丹药成品数) / sum(丹药尝试数)  

当最后一枚符咒归位，星辰仪爆发出的光芒竟在夜空组成八个大字：「可观测性即是天道」！

---

（本章完）
终章预告：虚空战场开启！Istio将如何编织天罗地网？