AI 重塑技术工作流程：大模型在SMS网关数字化运维的全面探索和实践（一）

作者简介：张松然，现任阿里云通信架构师，主导了阿里云通信融合通信网关的架构演进和研发落地，聚焦云通信规模化、平台化、全球化的发展方向。深度参与并推动生态平台化项目、CMPP磐石项目及国际站稳定性专项，实现全球融合通信网关的轻量级边缘云原生架构演进。同时，结合大数据、算法及AI技术，打造云通信运维AIOps能力，致力于实现智能化运维。多次作为演讲嘉宾参加ArchSummit、InfoQ等技术峰会，并作为极客专栏作者进行多次直播和分享。

---

在数据爆炸与云计算蓬勃发展的新时代，“大模型”正以前所未有的力度重塑各行各业，运维领域也不例外。本文深入剖析了人工智能大模型如何成为推动运维工作模式转型的新引擎，引领了一场从被动响应到主动预测、从人力密集到智能主导的深刻变革。

面对日益复杂的IT架构、海量的数据处理需求以及对故障即时响应的高要求，运维效率与质量面临着前所未有的挑战。

传统的基于规则和人工干预的运维模式已难以应对系统状态和用户需求的快速变化。频繁的系统更新、庞大的数据量以及对业务连续性的严格要求，给运维工作带来了巨大压力，迫切需要新的解决方案来提升效率和精度。

一、大模型智能运维场景

随着云计算、大数据和AI大模型技术的广泛普及，IT环境变得愈加复杂多变。大模型，尤其是深度学习和自然语言处理等领域的先进模型，以其强大的数据处理和模式识别能力，为智能运维提供了坚实的技术基础。这些模型能够自动从海量数据中提取特征，进行模式识别、异常检测和预测分析，从而实现对运维任务的智能化处理。

应用场景

• 智能故障预测与分析：利用机器学习算法快速定位故障根源，提供解决方案建议，大幅缩短故障修复时间。
• 智能FAQ问答助手：通过自然语言处理技术，为用户提供快速、准确的问题解答，减轻运维团队的工作负担，提升用户体验。

二、SMS网关运维助手的关键技术和难点突破

在智慧运维的进程中，核心技术如同导航灯塔，照亮了从传统运维向智能化转型的道路。本章将深入探讨智慧运维背后的关键技术支持及其在实际场景中的应用。

1. 智能故障预测与分析 —— 自动化故障诊断Copilot

AIOps（Artificial Intelligence for IT Operations）利用机器学习和数据分析技术，对运维数据进行深入挖掘，提供预测性分析和根因分析，帮助运维团队从被动响应转为主动预防，实现智能化决策。

• 专家经验积累与优化：基于标准操作程序（SOP）手册中的日常问题排查流程，结合对历史工单解决记录的深度分析，我们不断提炼并积累了丰富的专家级解决方案与策略。这些宝贵的经验不仅提高了问题解决的效率，也为后续的技术支持提供了坚实的理论基础。
• 故障图谱构建：利用上述积累的专家经验作为基石，我们构建了一个详尽的故障知识图谱。此图谱采用先进的图形数据库（GDB）技术，能够从多个维度进行数据聚合和分析，提供更加直观、全面的故障视图，极大地提升了故障诊断的准确性和效率。
• 日志召回机制：通过引入全局唯一标识符（UUID），我们实现了对来自不同源头的日志数据库信息的深入挖掘。结合已构建的故障知识图谱，能够高效地定位并召回相关联的日志数据链路，显著加快了问题诊断的速度，降低了故障处理的时间成本。
• 大语言模型（LLM）指令微调：在选择大语言模型（LLM）时，需综合考量模型的大小（效果）与推理延迟（性能）。针对特定领域的数据进行监督微调（SFT），可以有效提升模型在特定领域内的泛化能力，确保生成的内容更加贴合实际需求。
• Prompt工程优化：大语言模型（LLM）在生成内容时，可能会出现无视Query或检索结果自由发挥，以及无法精准复现检索结果中关键信息的问题。通过精心设计的Prompt工程，可以大幅度降低这些问题的发生概率，确保模型输出的内容既准确又相关。
• 推理部署优化：大语言模型（LLM）的生成速度慢是影响用户体验的主要瓶颈之一。在将其部署为在线推理服务时，可以通过采用流式输出、Blade LLM加速等先进技术手段，有效提高推理速度，从而显著提升用户的使用体验和满意度。

图解运维：数据编织的故障视界

本章节聚焦于如何运用图数据库构建故障图谱，深度挖掘系统间复杂的关系，实现故障的快速定位与根本原因分析。图数据库以节点、边和属性的形式存储数据，非常适合表示实体之间的复杂关系。在运维领域，这有助于直观地映射出容器、资源、流量乃至故障事件之间的关联，形成覆盖整个IT生态系统的故障知识图谱。

在调研了大型语言模型（LLM）与知识图谱（KG）的结合方式后，我们发现有三种主要方案：

1. KG-加强LLMs (KG-enhanced LLMs)：用知识图谱训练大模型，这种方法能够提升模型对特定领域知识的理解和准确性，但可能受限于知识图谱的不完整性和缺乏对新知识的快速适应；
2. LLM-增强KGs (LLM-augmented KGs)：自然语言文本转知识图谱，这有助于增强知识图谱的动态性和扩展性，但可能会引入LLM生成时的不确定性和错误；
3. LLMs+KGs协同（Synergized LLMs + KGs）：大模型和知识图谱统一到一个通用框架中，这种方式不仅结合了LLM的通用知识处理能力和KG的结构化知识优势，还能有效减少各自独立使用时的局限性，如LLM的“黑盒”问题和KG的语言理解不足。

经过综合考虑，我们最终选择了第三种方案，因为它在保持模型通用性和知识准确性的同时，还具备更强的适应性和可解释性。

知识图谱辅助决策：构建包含历史故障案例、解决方案和系统架构等信息的知识图谱，当新故障发生时，系统能根据故障特征匹配图谱中的案例，为运维人员提供决策依据。

言之有物：提示词在运维中的微妙平衡

本章节探讨如何通过精心设计的Prompt优化人工智能大模型在运维领域的应用，实现与系统的高效沟通，提升故障诊断、资源优化与决策支持的精准度。

Prompt工程

• 精准引导大模型 —— 故障诊断Prompt：针对特定的系统故障或异常，设计包含关键指标、上下文信息及预期输出格式的Prompt，引导大模型快速定位问题根源，输出准确的诊断报告与修复建议。

• 领域模型的定制着陆：特定场景下的部署优化与应用实例

在追求极致个性化与精准度的运维智能化道路上，本章节深入探讨了如何独立训练并部署专有领域的小模型，以期达到超越通用模型的答复精准度提升。此策略通过深度定制化，使模型更加贴合特定业务场景的细微需求，实现运维决策的更高准确性和效率。

在特定场景下的部署优化与应用实例的调研中：

• 我们对强化学习（RLHF）与监督微调（SFT）的概念进行了区分，其中RLHF通过人类反馈来提升模型的对话质量，而SFT则是一种基于明确标签的微调类型，尽管强化学习的成本较高且非常依赖标注数据，但在实际应用中不如SFT普遍。
• 同时，我们也探讨了继续预训练与微调的区别，继续预训练是指在已有的预训练模型基础上，利用大规模未标注数据进一步增强模型对特定领域的理解和适应能力，而微调则是针对特定任务的小规模数据集进行优化，旨在使模型在该任务上达到最佳性能。
• 此外，我们还分析了PEFT和LoRA两种技术，PEFT是一种通过引入低秩矩阵或适配层来减少计算资源需求的部分微调方法，而LoRA作为一种高效的微调技术，不仅显著减少了微调所需的参数量和计算资源，还在保持模型原有能力的基础上实现了任务特定的高效适应，尤其适用于大型模型的微调。

部署与应用：实现运维智能化升级（微调实践）

为了实现更高效的模型定制化着陆，我们进行了深入的部署优化与应用实例探索。以下是具体的操作步骤：

1. 数据准备：首先，我们在OpenLM的数据集平台上上传了用于微调的数据集。该平台支持多种数据源格式，包括Hugging Face、ODPS和OSS等，确保了数据来源的多样性和灵活性。
2. 模型训练：在模型训练阶段，我们选择了LoRA（Low-Rank Adaptation）作为微调方法，这有助于减少训练资源的消耗并提高训练效率。底座模型则选用了Qwen-7B，这是一个经过大规模预训练的基础模型，具有较强的泛化能力和适应性。模型训练过程中，我们详细记录了训练日志，以便于后续的分析和调试。训练完成后，我们对模型的效果进行了初步评估，确保其在特定任务上的表现符合预期。
3. 模型评测：目前，模型的性能评测工作正在通过PAI（Platform for AI）进行。PAI提供了丰富的评估工具和指标，帮助我们全面了解模型在不同维度上的表现，从而为后续的优化提供依据。
4. 模型部署：完成训练和评测后，我们将模型部署到生产环境中。部署后的模型可以直接调用，用户可以通过API接口访问微调后的专有模型，以满足特定业务需求。这一过程不仅提高了模型的应用效率，也增强了系统的整体性能。

通过以上步骤，我们在特定场景下实现了模型的高效定制化着陆，为实际应用提供了强大的技术支持。

2. 智能FAQ问答助手

智能FAQ问答助手通过自然语言处理技术，为用户提供快速、准确的问题解答，减轻运维团队的工作负担，提升用户体验。这一目标的实现，在很大程度上得益于达模型（Large Language Models, LLMs）与检索增强生成（Retrieval-Augmented Generation, RAG）技术的应用。这些先进技术不仅能够支持资源运营或客户运营在平日、日常对资讯类问题的有效解决，而且还能显著提高信息检索和生成的质量。

RAG是一种结合了传统信息检索技术和现代文本生成能力的方法。它首先从大规模文档库中检索出与用户查询最相关的几个片段，然后将这些片段作为附加输入提供给LLM。这样做的好处在于，即使LLM本身并不包含最新的或特定领域的知识，也能基于当前可用的最佳信息来生成回答。这种方法特别适合于需要频繁更新内容或者涉及高度专业化领域的情况，因为它允许系统利用外部数据源来补充其内部知识库。

关键技术环节

通过结合LLM的强大泛化能力和RAG的精准定位优势，可以构建出既高效又灵活的智能客服解决方案，更好地服务于各类企业和组织的实际需求。这种组合不仅提高了自动化服务水平，也为维护高质量用户体验提供了坚实保障。

1. 文本处理：用户的知识库内容多样，从结构化数据到非结构化文本不一而足。为了使这些信息能够有效地被向量检索库利用，必须进行细致的文本清洗与预处理工作。
2. Embedding模型：在RAG架构中，Embedding模型扮演着连接查询与知识库的关键角色。它将文本转换成向量形式，以便于进行高效的相似度匹配。
3. 向量检索库：选择合适的向量检索库是实现高效检索的基础。不同的向量检索库在性能上有所差异，选择时应考虑知识库的规模和特点。
4. LLM指令微调：大型语言模型（LLM）的选择和调优是RAG系统成功的关键之一。一方面，需要在模型大小（效果）与推理延迟（性能）之间找到平衡；另一方面，针对特定领域的数据进行监督微调（SFT），可以进一步提高模型在该领域的泛化能力，确保生成的内容更加专业和准确。
5. Prompt工程：Prompt设计是引导LLM生成高质量内容的重要手段。不当的Prompt可能导致模型忽略检索结果中的关键信息，或者过度自由发挥。通过精心设计Prompt，可以有效控制生成过程，确保输出内容既忠实于原始数据，又具有良好的可读性和实用性。
6. 推理部署：为了满足在线服务的实时性要求，优化LLM的推理速度成为了一项重要任务。采用流式输出、LLM加速技术（如Blade LLM）等方法，可以在保证生成质量的同时，大幅缩短响应时间，从而提供流畅的用户体验。

实际案例：基于PAI的RAG实现

1. 系统部署

• 底座模型选择：根据应用场景和性能需求，选定合适的大型语言模型（72b）作为基础。
• 向量数据库类型：提供了多种选择，包括FAISS、Elasticsearch、Milvus、Hologres和OpenSearch等，每种都有其适用场景和配置要求。

2. 部署效果展示：部署完成后，用户可以通过简洁直观的Web界面直接访问RAG功能。无论是技术支持人员还是普通用户，都能轻松上手，快速获取所需信息，极大地提高了工作效率和满意度。

通过上述步骤，我们不仅实现了RAG在特定场景下的高效部署，还为其持续优化和发展奠定了坚实的基础。

三、面向未来的SMS网关智能运维发展思考和规划

在实践大模型应用于智能运维的过程中，我逐渐意识到从零开始，通过逐一解决具体问题来逐步推进的重要性。

以短信AIOps系统的构建为例，我们首先聚焦于解决短信系统中存在的三个核心难题，这让我们实现了从无到有的转变。随着项目的深入，我们不仅建立了有效的短信异常案例排查机制和基于Rag检索增强生成技术的知识库，而且还开发出了能够进行短信集群全景分析及预测对账差异率的大规模语言模型能力。

基于这一系列成功的探索，我们认为其他横向扩展的产品，如语音AIOps系统，也应该采取类似的策略——即从解决最迫切的实际问题出发，再根据具体情况调整后续的研发方向。这种方法论的有效性，在于它允许我们在面对新挑战时能够灵活应对，并且确保每一步都紧密围绕着提升用户体验和服务质量的目标前进。

在更广泛的智能运维（AIOps）领域内，大模型的应用潜力远不止于此。它们强大的自然语言处理能力和模式识别技能使得其非常适合处理网络监控、日志分析乃至故障诊断等任务。通过快速准确地解析大量数据，这些模型可以帮助IT团队更加高效地定位问题所在、提前预警潜在风险，并提出可行的解决方案建议。更重要的是，利用大模型自动生成的帮助文档或故障排除指南等形式的内容输出，还能极大地改善最终用户的体验感。

总之，在未来智能运维的发展蓝图中，大模型无疑将扮演极其重要的角色。它们不仅能显著提高现有工作流程的效率与准确性，还将促进整个行业朝着更高程度的自动化与智能化迈进。随着相关技术的不断成熟以及应用场景的持续拓展，我们有理由相信，大模型将在推动企业数字化转型方面发挥出更大的作用。