基于因果AI与DeepSeek的故障定位实践：技术解析与落地应用-CSDN博客

本文链接：https://blog.csdn.net/Databuff/article/details/147820068

引言

随着云原生与微服务架构的普及，系统复杂性急剧增加，故障定位成为运维领域的核心挑战。传统方法依赖人工经验与碎片化工具，存在效率低、效果难量化等问题。本文将分别探讨因果AI推理以及DeepSeek大模型推理两种技术路径，来实现故障定位的智能化升级，并分享实际落地效果。最后，本文继续深入分析两种技术路径的相关性以及在实际应用场景中的互补性。

一、故障定位的行业痛点

效果难以量化
- 当前可观测性或者监控工具虽支持故障定位，但缺乏统一评价标准，例如：
  - 支持的故障场景数量（如500种细粒度场景）。当前绝大多数可观测或者监控工具都不能清晰地定义故障场景，无法像传统软件测试用例一样列举出业务系统运行过程中，哪些具体业务或者技术场景可能会故障，并有效地定位出来。
  - 定位颗粒度（服务级、接口级、SQL语句级，代码级）。绝大多数工具无法清晰地描述故障场景的颗粒度，定位的粒度越细，例如能够直接定位到代码或者SQL，说明定位的效果越好。
  - 定位耗时（分钟级 vs 小时级）。绝大多数工具无法提供即时性的自动化故障定位能力，从而也不能将从故障发生时到故障定位结果之间的时间进行量化。
- 解决方案：构建RootTalk Sandbox系统（放链接，跳转到介绍文章），通过构建典型的故障演练系统以及具体的故障场景集，在具体业务环节执行标准化故障注入，通过即时性的效果验证实现量化评估。
产品化难度高
- 传统的故障定位方法，也就是AIOps，在项目实施过程中，工程量非常大。整个流程需经历数据平台搭建；选择最有价值的故障场景，从各个数据源（指标，日志，链路，业务数据）抽取有价值的数据并执行数据清洗，转化成标准的数据格式供机器学习模型使用；不断根据实际效果进行模型调参等环节，最终才能落地一个故障场景。然后继续下一个故障场景的重复流程。可以看出，整个项目周期长（半年以上）且难以标准化和产品化。
- 解决方案：基于因果可观测性的标准，以及故障场景所需的数据信号进行统一数据采集，基于因果AI进行自动化故障根因推理，从而实现故障定位的产品化和标准化，降低项目实施交付成本。
大语言模型的价值释放
- 大模型需要与业务系统环境信息相结合。大模型具备优异的推理能力与内容生成能力，同时也具备专业的领域知识。然而在用于故障定位时，如果不加以控制，容易出现“幻觉”干扰，从而误导运维人员。因此，大模型还需与具体的业务系统环境的信息结合起来，才能发挥其真正的作用。
- 解决方案：构建可观测性数据底座，采集业务系统环境的因果可观测性数据。通过快速实时地与DeepSeek进行因果可观测数据交互，引导DeepSeek生成符合业务实际情况的可解释的推理过程。

二、因果AI驱动的故障定位方案

可观测性成熟度模型

成熟度等级：

《可观测成熟度模型》中对可观测系统的成熟度进行了5个等级的划分。

其中L1和L2是对可观测能力的基础要求；从L3开始出现了因果可观测，实现更加全面的具有关联关系的可观测性；而L4是在L3的基础上对数据进行更为自动化的分析和处理。L5是最高等级的业务可观测，我们会在后续文章中详细讨论。

L3 因果可观测性：通过标准化数据（指标、链路、日志、拓扑、网络、事件）采集，构建系统内部监控对象之间的关联关系，反映系统事件的因果关系。
L4 主动可观测性：基于因果关系实现自动化故障根因分析与处置建议，直接给出结论。
因果可观测拓扑图：

上图很好地反映了因果可观测性的效果，可以看到这是一个关于服务、容器、主机的三维空间地图。这张图上主要体现了以下三个要点：

水平层：反映服务、容器、主机之间的调用以及访问依赖关系。
垂直层：反映服务到容器，容器到主机的运行依赖关系。
故障动态因果链：故障传播路径可视化（如mysql服务→tomcat服务→nginx服务→web服务的故障传播）。

从这张图上，可以清晰看到故障发生的地方，以及故障传播的路径，故障的根因节点在哪。

定位效果

上图是我们通过RootTalk Sandbox系统对应用注入故障后，产生的根因分析结果。当故障发生时，我们的可观测平台会实时产生告警，并自动触发根因定位机制生成根因分析结果。整个分析结果由故障树进行呈现，故障树的最底部是故障根因节点。通过该节点，可以找到最直接根因，故障根因可追溯到具体的SQL、接口、代码或者连接池。如上图中的SQL语句“SELECT runoob_title from tableA limit ?”执行时平均响应时间升高。针对给出的根因，还可以继续点击链接下钻，做进一步的分析和验证。

三、基于DeepSeek的故障定位方案探索

基于DeepSeek，如何实现高效的故障定位？如何让DeepSeek获取并理解实际业务环境的上下文信息，从而交出一份优质的故障定位结果？请看下文。

1. 技术架构

整体上，由DeepSeek作为思考的大脑，来驱动整个故障推理过程。DeepSeek不断与业务系统环境的因果可观测数据进行交互，生成符合业务情境的根因推理过程和结论。

输入：将故障发生的入口服务节点通知给DeepSeek，通过可观测数据底座提取标准化可观测数据（故障传播链、服务之间的调用关系、服务与基础设施的运行依赖关系）。
推理：DeepSeek按预先设定的逻辑分步生成故障推理过程，例如：

Step 1. 分析入口服务指标异常 → Step 2. 追踪下游服务的指标异常 → Step 3. 定位数据库执行耗时异常。

在DeepSeek进行故障推理的过程中，我们需要将实时采集到的因果可观测数据按需提供给DeepSeek，让它能够生成阶段性的结论以及决定下一步的推理内容。到了一定阶段，DeepSeek认为故障根因已经明确，它会终止推理的过程。

输出：结构化的可解释性的根因结论，以及可操作的处置建议（如“扩容MySQL连接池”）。

2. 定位效果

针对第二章节的同样的故障场景，我们看一下DeepSeek给出的故障定位结论。如上图所示，Deepseek根据提供的因果可观测数据生成逻辑推理，给出了结构化的根因结论和处置建议。根因结论同样是SQL语句“SELECT runoob_title from tableA limit ?”执行时平均响应时间升高。处置建议更具备可提示性，专业性。整个输出的结果可解释性和可操作性更强，能够帮助运维人员快速理解业务生产环境中故障发生的前因后果，通过将业务生产情境数据与DeepSeek大模型的专家知识结合，生成的故障根因分析结论更详细，更专业，更契合实际情况。有效降低故障分析和故障处理的难度。

四、双擎驱动，相互补充的故障定位方案

我们可以看到，基于因果AI的故障定位方案以及基于DeepSeek的故障定位方案两者通过不同的推理方法，针对同一个故障场景，产生了一致的故障根因分析结果。

那么，它们两者之间的关系是怎样的呢？

首先，两种方案都是基于因果可观测数据执行推理过程的，这个前提条件是不变的。只有充分理解了业务环境的上下文信息，才能准确执行根因推理。所以，可以基于同一个可观测数据底座，分别实现两种不同的方案。

其次，两种方案的推理逻辑是一致的，能产生一致的推理结果。从发现故障的问题入口出发，一步一步根据服务和基础设施之间的依赖关系，往下找问题的传播路径，最终找到问题的根因。所以，可以应用在同一套业务应用环境，实现能力上的相互补充。

它们各自的优势分别是什么？

因果AI最大的优势在于，对因果可观测数据的天然集成性。根因推理速度快，基于原始的结构化因果可观测数据，可以在几秒内得出推理结论。除此之外，因果AI的推理痕迹均可转化成可解释性的数据支撑，分析的数据维度可扩展性也更强。

基于DeepSeek的方案由于需要不断与可观测底座进行数据交互，并根据局部性的数据片段生成推理语言文字，所以它的推理性能稍弱。但它的优势在于将推理过程和结论完全书面化，阅读性更强。并且，DeepSeek内置的领域专家知识还能够自动补充和丰富整个推理过程的信息。其次，DeepSeek还能够提供专业的解决方案，给予运维人员源源不断的灵感。