【论文阅读】《Large Language Models for Networking: Applications, Enabling Techniques, and Challenges》

这篇论文的标题是《Large Language Models for Networking: Applications, Enabling Techniques, and Challenges》，作者们探讨了大型语言模型（LLMs）在网络领域的应用，并提出了一些使能技术和面临的挑战。

摘要
网络技术的快速发展和网络任务日益增长的复杂性，需要在网络设计、配置和管理方式上实现范式转变。拥有丰富知识和专业技能的大型语言模型（LLMs）是最有前景的候选者之一。本文旨在为构建领域适应的LLMs以用于网络领域铺平道路。首先，我们提出了LLM在垂直网络领域的潜在应用，并展示了从自然语言到网络语言的映射。接着，我们研究了几种使能技术，包括参数高效的微调和提示工程。我们的观点是，网络LLMs需要理解和使用工具。在体现智能的理念驱动下，我们提出了ChatNet，这是一个具有访问各种外部网络工具能力的领域适应型网络LLM框架。ChatNet可以显著减少繁琐网络规划任务所需的时间，从而大幅提升效率。最后，我们强调了关键挑战和未来的研究方向。索引术语 —— 大型语言模型，生成性AI，意向驱动网络，网络智能。

主要问题：

1. 网络技术的快速发展和网络任务的日益复杂化：这要求网络设计、配置和管理的方式需要转变。
2. 领域特定的网络语言与自然语言之间的差异：传统的映射方法受限于形式化的翻译，而LLMs需要提供定制化的响应来处理特定的自然语言输入。
3. 现有意图驱动网络方法的局限性：包括泛化能力不足、训练成本高昂、难以与现有的技术和工具集成。

主要方法：

1. 领域适应的LLMs：通过大量的网络知识微调（finetuning）来实现领域特定的LLMs，并利用检索增强（Retrieval-Augment based）技术来改善从自然语言到网络语言的映射。
2. ChatNet框架：提出了一个名为ChatNet的领域适应的网络LLM框架，该框架可以访问各种外部网络工具，以提高效率并减少网络规划任务的负担。
3. 使能技术：包括预训练、微调、推理和提示工程（prompt engineering），这些技术有助于构建和优化适合网络应用的LLM模型。

介绍
论文通过提出ChatNet框架和对网络领域的LLM应用进行案例研究，为未来在这一领域的研究提供了新的视角和方向。
论文指出，关键在于，网络语言存在形式化的规则、协议、数学表达式和公式约束，而不是自然语言的纯文本。幸运的是，LLM有望通过应用程序编程接口（API）不断学习最新的世界知识并全面利用工具。因此，任意复杂的网络任务可以通过调用具有即插即用功能组件组合的 LLM 来完成。在本文中，我们的目标是为构建用于网络的领域适配 LLM 铺平道路，包括网络设计、网络诊断、网络配置和网络安全方面的应用。我们设想基于LLM的网络智能将无处不在，并重塑未来的网络基础设施。本文的主要贡献是：∙
1、分析了自然语言和网络语言的特征，并展示了典型的意图转换模式。
2、介绍了用于网络的领域适配 LLM 的使能技术，包括预训练、微调、推理和提示工程。
3、提出了ChatNet概念框架，该框架包含分析器、计划器、计算器和执行器的基本组件，以表达基于LLM的网络智能。
4、进行了基于LLM的网络规划的案例研究，其中ChatNet可以理解意图并生成具有不断变化的流量矩阵和约束的可视化容量方案。

图 1：领域适配网络LLM的应用、机制和使能技术。 （a） 潜在的网络LLM应用。（b） 生成式预训练Transformer的工作机制。（c） 微调过程和prompt工程。

LLM在网络中的应用
本节概述了LLM在垂直网络领域的应用前景，强调了自然语言和网络语言之间的差异。

1、LLM在垂直网络领域的潜在应用
开发网络系统和管理网络基础设施是知识密集型和劳动密集型行业，需要大量的专家经验和人工操作。以前，网络智能是分散的，驻留在不同的小型模型中，例如深度神经网络、长短期记忆和深度强化学习。每个模型都独立部署在特定环境中，例如用于客户服务的智能助手、用于提高服务质量 （QoS） 的自适应路由算法以及用于减少手动错误的明确配置综合模块。LLM希望通过通用的自然语言接口统一网络智能，使网络本身成为理解知识和掌握工具的通才。将LLM在网络垂直领域的潜在应用分类如下：
1）网络设计：通过处理包含网络性能指标、设备规格和历史设计模式的海量数据集，LLM可以帮助工程师进行设备选择、网络规划、协议制定以及网络设计的许多其他方面。在设备选择中，LLM 可以分析兼容性要求、性能基准和成本考虑因素，提供符合特定网络目标的建议。对于网络规划，LLM 可以模拟各种网络方案，预测潜在的瓶颈，并提出平衡效率、可扩展性和弹性的最佳布局。
2）网络诊断：故障排除对于网络运营商来说是一项繁琐而繁琐的任务。特别是在大规模广域网中，需要跨多个地域的不同部门进行协调，而应用仍会遭受莫名其妙的网络故障或性能下降，并面临数亿经济损失的威胁。通过将 LLM 集成到网络诊断系统中，LLM能够根据网络状态信息生成故障报告，加速故障定位，并根据报告分析和历史运行数据给出合理的处理建议。
3）网络配置：网络中有大量的异构设备，如交换机、路由器、中间件等。由于特定于供应商的设备型号，需要大量的专家工作来学习用户手册、收集合适的命令、验证配置模板以及将模板参数映射到控制器数据库。在此过程中，即使是单个 ACL 配置错误也可能导致网络中断。考虑到日益增长的异构云网络，以及需要管理的大量计算和存储设备，统一的自然语言配置界面8对于简化配置过程和启用自配置网络至关重要。
4）网络安全：网络经常面临各种潜在的安全问题，如分布式拒绝服务（DDoS）攻击、地址欺骗和数据泄露。保护网络免受恶意攻击结合了一系列操作，例如安全评估、漏洞扫描、入侵检测和防御。LLM 是强大的交互式平台，可以访问各种安全工具和系统9.例如，在逻辑严谨的提示引导下，LLM 可以通过调用 Wireshark 的解析工具并将策略更新到防火墙来完成异常流量拒绝任务。

2、从自然语言到网络语言
与自然语言的纯文本不同，网络语言包含更多的非标准化格式和符号，从高级管理策略到低级访问控制列表（ACL）、命令行界面（CLI）和数据建模语言（如YANG模型、XML和JSON）。传统的映射方法仅限于形式化翻译，例如实体抽象和模板填充。相比之下，LLM 可以通过提供对特定与人类相关的自然语言输入的自定义响应来提供更好的网络 QoE 性能。此外，网络语言具有特定领域的名词、协议和规则，以及数学约束，其中 LLM 容易因概念模糊而产生“错觉”，或由于忘记上下文的相关性而“喋喋不休”。因此，文章指出，可以用大量的网络知识对 LLM 进行微调，以实现域适配的网络 LLM，而基于访问外部文档（例如，设备手册和状态日志）的检索增强将有利于将自然语言映射到网络语言。

此外，完成网络任务是一个复杂且容易出错的过程，这不仅需要语义的正确性，还需要实际部署。为了解决这个问题，意图优化方案使用Bi-LSTM和知识图谱等方法，从声明性意图到网络原语的转换的准确性和完整性。网络验证进一步检查冲突的策略，并使用各种网络工具验证结果的可行性。然而，在意图驱动的网络中组装不同的工具和方法仍然具有挑战性。文章认为 LLM 的生成式预训练转换器 （GPT） 技术足够强大，可以学习工具的使用，因为 GPT-4 已经发布了助手 API用于轻松构建自定义的 GPT 应用程序。因此，文章认为，自适应领域的网络 LLM 可以访问外部工具，例如搜索引擎、数据分析器、数学求解器和网络工具，以自动执行任何复杂的任务，例如处理时间序列数据、解析协议和构建数学模型。

ChatNet 框架

图2：ChatNet 由分析器、计划器、计算器和执行器组成，每个执行器都由网络 LLM 提供支持。在网络规划的案例研究中，ChatNet收到提示输入，并最终输出不同的容量方案。

ChatNet的基本组件
ChatNet的有效使用是基于语言理解和工具使用，基于以下四个基本模块：分析器、规划器、计算器和执行器。

1. 分析器：由网络LLMs驱动，设计用于提取关键概念、工具及其关系，以评估网络任务的可行性。通常，分析器输入的是自然语言描述的提示L，应涵盖{LT, LS, LC}的范围，其中LT是任务描述，LS是网络状态，LC表示网络约束。此外，还有用于上传数据集和链接文件的附加文件接口。
2. 规划器：规划器推导出完成网络任务所需的逐步过程，其中规划空间P由集合{PL, PA, PS}定义。PL描述规划逻辑，如简单的序列或循环步骤。PA是可定制的操作和动作的集合，例如读取文件和访问工具。PS表示利用特定网络工具所需的技能。值得注意的是，所提出的模块是作为计划创建服务的，而不是计划执行。这意味着用户可以通过CoT（Chain of Thought，思维链）与规划器进行多轮对话，甚至可以直接修改计划。
3. 计算器：LLMs不擅长网络数学和公式化，而在网络系统中存在复杂的数值计算和模型约束。因此，LLMs必须有一个额外的计算模块来计算每个步骤的参数。例如，计算器可以调用编程语言来实现简单的算术运算，或者导入求解器来优化受约束的模型。基于提示，网络LLMs可以生成有用的脚本以加快网络建模过程。考虑到复杂网络任务，计算器和规划器之间的协作不可避免地需要一些人为干预。
4. 执行器：执行器负责输出最终结果。通常，执行器生成网络方案和协议，以及网络配置命令（例如ACL和CLI）通过编码实现。通过统一的网络LLMs API，执行器也可以集成到网络仿真器、控制器和验证工具中。
   这部分内容概述了ChatNet框架的四个核心组件，它们共同协作以实现网络任务的自动化和智能化。

网络规划下的案例研究
文章在 GPT-4 的支持下模拟了 ChatNet 的原型，其中四个 GPT-4 模型最初分别被提示为分析器、计划器、计算器和执行器。如图2所示，提示将分析器的角色定位为网络规划器，然后告知其流量矩阵、容量约束、优化目标和期望的任务输出。首先，分析器解释了网络容量规划并指出了所需的工具，例如用于约束求解的 Cplex、用于创建网络拓扑的 NetworkX 和用于可视化的 Matplotlib。这些输出作为输入提示传送到其他模块。然后，规划模块解耦任务并开始逐步执行，主要包括读取流量矩阵文件、计算网络容量解以及绘制IP和光网络拓扑。此外，可以在规划器中指定个性化操作（例如，添加光纤或增加容量），以指示对网络拓扑的进一步修改。成本和优化模型的计算公式存储在计算器模块中，该模块是ChatNet提供的脚本和人工干预的组合。最后，执行器生成自定义的网络容量解决方案，例如使用颜色显示不同的拥塞级别，以及使用虚线和实线显示分层IP和光网络拓扑。

挑战与未来展望
1、训练多模态网络 LLM
集成各种数据类型（如文本、图像和特定于网络的代码）需要复杂的训练过程来构建用于网络的多模态 LLM。该模型必须善于处理和解释这些异构数据，以准确反映网络环境的复杂性。此外，还存在一个随时间推移保持模型相关性的问题。网络技术和协议发展迅速，需要不断更新训练数据。在最小化训练成本和计算资源的同时平衡这些因素是一项重大挑战，必须解决这一挑战，以充分挖掘多模态网络 LLM 的潜力。
2、开发网络 LLM 插件
网络LLM插件的发展开辟了网络管理和设计的新领域。这些插件旨在扩展 LLM 的功能，使它们能够更有效地与各种网络组件和系统进行交互。挑战在于设计插件，既要足够灵活，以适应广泛的网络架构，又要足够具体，以提供有意义的见解和行动。互操作性是一个关键问题，因为这些插件必须与现有的网络管理工具和协议无缝集成。此外，确保这些插件的安全性和可靠性至关重要。
3、实现网络具身智能
通过LLM实现网络具身智能，有望实现响应速度更快、效率更高、自我优化的网络系统，代表着网络领域的重大飞跃。例如，将网络 LLM 集成到决策系统中是有意义的，例如具有深度强化学习的网络规划系统。此外，一个基本问题是透明度和可解释性，因为 LLM 可能会创建虚假的网络设计和配置。与自动驾驶中从L0到L5的智能类似，网络具身智能需要分层考虑，例如，从协助网络运营商到完全取代网络专家。

https://arxiv.org/abs/2311.17474
https://ar5iv.labs.arxiv.org/html/2311.17474