分布式环境控制系统中的多智能体架构：愿景、挑战与机遇

原论文：https://arxiv.org/pdf2502.15663

Natasha Astudillo

Fernando Koch

摘要

随着大型基础设施（尤其是数据中心）对节能解决方案的需求不断增加，需要先进的控制策略来优化环境管理系统。我们提出了一种用于数据中心空气冷却冷水机组的分布式控制的多智能体架构。我们的愿景是利用自主智能体监控和调节局部运行参数，以优化系统整体效率。我们展示了这种方法如何提高系统的响应性、操作鲁棒性和能源效率，为实现可持续基础设施管理的更广泛目标做出贡献。

1 引言

在建筑环境中对可持续性的日益重视突显了智能建筑中先进控制策略的需求。特别是环境控制系统，如暖通空调系统（HVAC），起着关键作用，因为它们负责大约50-60%的能源消耗和40-60%的二氧化碳排放 (Saidur 2009；Hidalgo et al. 2008) 。在涉及多个设备分布在多个结构中的场景中，通过聚合来自不同单元的传感器数据并促进复杂且分布式的决策过程，可以实施分布式控制。最近的研究探讨了基于AI的分布式控制解决方案的应用，这些解决方案利用多智能体架构协调和优化这些系统的运行 (Fuentes-Fernández, Guijarro 和 Pajares 2009) 。此类架构不仅提高了系统的响应能力和效率，还为解决复杂分布式环境中的可扩展性、鲁棒性和互操作性挑战开辟了新的研究方向。

我们正在研究和开发现代多智能体架构在设计一个适用于同一区域内多个设备和多个站点的分布式控制系统中的应用。我们专注于运营大量空气冷却冷水机组的数据中心场景，通常每个建筑物管理30到100台设备，每个站点涵盖多个建筑物。每个设施都有独特的配置和运行条件，并且由于极其严格的安全和专有要求，需要本地化的、弹性的解决方案。我们正在探索实现实时监控和适应、容错、可扩展性和安全合规的方法。

我们的研究为该领域的前沿提供了：

• 一种利用多智能体架构进行高效能源管理的数据中心分布式控制框架。
• 对复杂、多站点环境中实时监控、适应和容错机制的深入分析。
• 将安全和专有约束集成到去中心化控制系统中的见解。
• 验证我们在各种运行条件下方法的可扩展性和鲁棒性的实证结果。
  2 提案

分布式控制系统中的多智能体系统
近期研究表明，多智能体协作对节能建筑系统具有诸多益处 (Labeodan et al. 2015；Qiao, Liu, 和 Guy 2006) 。基于这些架构的解决方案可以在现场实施，符合严格的数据中心安全政策，同时增强冷却系统的整体弹性 (Yu et al. 2022) 。多智能体系统（MAS）减少了对集中式基础设施的依赖，通过将智能分布在本地智能体上，提高了适应性和效率。关键操作优势包括 (Koch 和 Rahwan 2005) ：

• 情境性： 智能体位于一个可以影响和被其影响的环境中。
• 开放性： 智能体能够适应系统结构的变化，例如当新组件进入系统或现有组件离开时。
• 本地控制： 智能体可以根据本地策略自主操作。在移动服务中，这可能是确保服务鲁棒性所必需的。
• 本地交互： 智能体能够在地理或逻辑邻近的其他组件之间进行交互。
• 增强安全性： 减少数据传输到外部服务器，降低网络安全风险。
• 可扩展性： 分布式决策使系统能够动态扩展，而不会出现单点故障。
• 自适应协调： 每个冷水机组自动调整设定值，同时与其他相邻单元同步，以优化整体性能。

基于这些原则，我们提出了一个集成解决方案架构，该架构结合了MAS基础的分布式控制功能，特别适用于复杂的环境控制系统。如图 1 所示，该架构包含以下关键要素：

1. 传感器和物联网设备： 一个分布式网络的传感器不断从建筑物内的各个区域收集高分辨率数据（如温度、湿度、占用情况）。这种精细的数据采集对于捕捉每个区域的独特环境条件至关重要，从而支持自适应控制策略。
2. 本地深度强化学习（RL）智能体： 部署在每个建筑区域的边缘设备上的这些智能体利用本地收集的传感器数据进行即时、上下文特定的暖通空调操作控制决策。本地部署减少了通信延迟，并允许每个智能体根据其区域的具体条件优化能耗。
3. 协调层（多智能体网络）： 促进本地RL智能体之间的稳健通信和数据交换，确保它们的个体行动协调一致。协调层防止不同区域之间的冲突控制行为，从而通过分布式互动保持系统的整体稳定性。
4. 中央聚合器： 从协调层收集和整合数据，提供整个建筑暖通空调性能的全面概览。这一元素确保局部优化有助于整体能源管理和可持续发展目标，通过平衡各区域性能与全局目标。
5. 云分析和再训练平台： 处理聚合数据以识别长期趋势，加深对建筑使用模式的理解。它支持定期重新训练RL模型，确保系统适应不断变化的操作条件并保持高水平的性能。

这个集成的MAS基础分布式控制架构旨在应对现代数据中心和智能建筑环境中固有的复杂操作挑战。所提出的解决方案旨在通过结合本地决策与协调和系统级监督，提升能源效率、弹性和安全性，同时满足当代设施管理的严格要求。

3 应用案例

我们的实验表明，智能重分配优化了冷却效率，避免了单个单元的过载，预计可提高5-15%的能源效率，同时保持热舒适度。此用例发生在电力需求高峰期，例如炎热的夏日下午，由于冷却需求增加，能源成本可能会飙升。多智能体系统（MAS）中的协调智能体动态优化冷水机组操作，以减轻过度耗电。系统不是均匀增加所有单元的冷却负荷，而是战略性地调整操作：

• 靠近建筑物外围的冷水机组，在那里有可用的较冷外部空气进气口，被指示以更高效率运行。
• 较热区域的冷水机组减少负荷，以平衡整个系统。
  此外，初步实验表明，主动工作负载分布可延长设备寿命多达30%，减少意外停机时间和维护成本。随着时间推移，冷水机组磨损，需要定期维护以保持最佳性能。MAS通过持续监控运行时间阈值并在必要时动态重新分配工作负载，增强了自适应调度。系统不是让所有冷水机组以相等负荷运行，而是战略性地转移任务：
• 当特定冷水机组接近推荐的运行时间限制时，MAS将冷却任务转移到最近维护过的单元。
• 这防止了老设备过载，减少了机械应力并降低了突然故障的可能性。
  我们还证明，将所有决策和学习过程保留在本地消除了与数据传输相关的网络安全风险，确保完全符合安全政策。数据隐私对数据中心至关重要，尤其是在使用基于AI的模型优化冷却效率时。MAS实现了本地安全学习，使每个站点能够开发优化策略而不暴露敏感操作数据给外部服务器。系统确保：
• 每个设施使用本地传感器数据训练自己的基于RL的优化模型。
• 所有决策都保留在本地，消除了外部数据传输相关的风险。
  最后，我们的研究探讨了基于实时天气变化的动态冷水机组调整，以减少不必要的能源消耗并提高系统稳定性。环境条件可能突然变化，影响冷却系统的效率。MAS通过引入一个检测突发温度波动并相应调整操作的天气智能体来提高弹性。系统不依赖静态冷却计划，而是主动修改操作：
• 如果检测到意外的夜间温度下降，协调智能体调整冷水机组速度以防止不必要的冷却。
• 在热浪期间，MAS在各区域之间重新分配冷却负荷，以防止过热并提高能源效率。

这些结果总结在表 1 中。
4 挑战与机遇
将多智能体系统（MAS）基础的分布式控制架构集成到节能建筑系统中面临若干挑战，包括：

• 智能体间协调复杂性： 确保自主智能体之间的无缝协作可能具有挑战性，特别是在大规模实施中，通信延迟和决策冲突可能出现。
• 计算和硬件限制： 在边缘设备上部署本地深度强化学习（RL）智能体需要计算效率，因为资源限制可能影响实时处理和决策。
• 安全和隐私问题： 虽然本地决策减少了外部数据传输，但本地网络中的漏洞仍可能使关键控制系统暴露于网络威胁。
• 可扩展性和互操作性： 确保MAS框架能够有效扩展并保持与异构物联网设备、传感器和现有楼宇管理系统的兼容性是一个关键挑战。
• 训练数据和适应性： 实际环境变化可能引入非平稳性，需要自适应机制以防止性能退化。
  我们通过结合高级控制策略、系统设计优化和自适应学习机制来解决这些挑战。
• 增强的智能体间协调： 我们正在探索分层多智能体协调以缓解通信延迟和决策冲突。协调层促进了同步互动，确保智能体协作优化决策，同时最大限度减少干扰。
• 高效的计算策略： 我们正在研究如何通过使用动态生成AI管道并最终集成小型生成模型来优化边缘部署的强化学习模型，以克服硬件和计算限制。
• 强大的安全和隐私机制： 我们正在设计MAS框架以集成零信任安全模型、加密本地通信和异常检测算法，保护关键基础设施免受网络威胁。
• 可扩展性和互操作性解决方案： 我们正在设计MAS架构以采用标准化通信协议（如MQTT、OPC-UA）和模块化软件接口，确保无缝扩展和兼容性。
• 针对实际变化的自适应学习： 我们正在实施混合AI和连续学习框架，MAS智能体定期使用在线强化学习更新模型，以应对非平稳环境的挑战。
  我们强调了几项关键机遇，使得这一集成非常有前景。首先，采用 分布式决策 能够动态实时优化暖通空调操作，减少能源消耗和运营成本，同时保持最佳的居住者舒适度。通过持续适应变化条件，MAS基础控制策略可以带来显著的节能和系统性能提升。此外，MAS的 本地控制能力 减少了对集中式基础设施的依赖，确保在网络和系统故障时具备鲁棒性。此外，由 MAS 驱动的自适应控制机制可以根据环境波动和占用模式动态调整，确保在不同条件下实现最佳能源效率。所提出的架构可以扩展以与智能电网互动，实现需求响应策略，并促进可再生能源的无缝集成。
  这些机遇突显了MAS基础分布式控制系统的变革潜力，使其成为未来节能建筑的可行解决方案，同时满足经济和环境可持续发展目标。
  5 结论
  将MAS集成到分布式控制系统中代表着能效建筑管理的范式转变。随着人工智能、物联网和分散智能的不断发展，MAS基础架构有望推动下一代可持续基础设施的发展，确保最优的能源利用、弹性和未来的智能建筑解决方案。
  我们的初步研究结果表明，MAS提高了能效、弹性和安全性，同时保持严格的运营约束。初步分析确定了MAS的关键运营优势，包括改进的容错、自适应调度和分布式决策。实验结果表明，MAS驱动的控制可以实现5-20%的节能、30-40%更快的异常检测以及高达30%的预测性维护调度改进。未来的研究和进步领域包括：
• 增强学习的高级生成AI： 未来的工作可以探索集成生成AI管道和小型生成模型，以提高强化学习效率并实现更快适应动态环境。
• 增强适应性的混合AI： 研究混合AI方法，结合符号推理和深度学习，可以帮助MAS智能体更好地解释环境变化并作出更可解释和情境感知的决策。
• 与新兴物联网标准的互操作性： 随着物联网生态系统的演变，确保与下一代智能建筑技术和行业标准（如Matter、OPC-UA、MQTT）的无缝互操作性将是实际部署的关键。
• 分散的信任和安全机制： 进一步研究需要加强隐私保护计算方法，如联邦学习和零信任安全架构，确保在抵御网络威胁的同时保持分布式自治。
• 与智能电网和可再生能源系统的集成： 扩展MAS架构以与智能电网和可再生能源源互动，可以增强需求响应能力，促进未来建筑中可持续能源消费。

Fuentes-Fernández, Rubén, Marı́a Guijarro, and Gonzalo Pajares. 2009. “A Multi-Agent System Architecture for Sensor Networks.” Sensors 9 (12): 10244–69. https://doi.org/10.3390/s91210244 .

Hidalgo, MC Rodrı́guez, P Rodrı́guez Aumente, M Izquierdo Millán, A Lecuona Neumann, and R Salgado Mangual. 2008. “Energy and Carbon Emission Savings in Spanish Housing Air-Conditioning Using Solar Driven Absorption System.” Applied Thermal Engineering 28 (14-15): 1734–44.

Koch, Fernando, and Iyad Rahwan. 2005. “The Role of Agents in Intelligent Mobile Services.” In Intelligent Agents and Multi-Agent Systems , edited by Michael Wayne Barley and Nik Kasabov, 115–27. Berlin, Heidelberg: Springer Berlin Heidelberg.

Labeodan, Timilehin, Kennedy Aduda, Gert Boxem, and Wim Zeiler. 2015. “On the Application of Multi-Agent Systems in Buildings for Improved Building Operations, Performance and Smart Grid Interaction–a Survey.” Renewable and Sustainable Energy Reviews 50: 1405–14.

Qiao, Bing, Kecheng Liu, and Chris Guy. 2006. “A Multi-Agent System for Building Control.” In 2006 IEEE/WIC/ACM International Conference on Intelligent Agent Technology , 653–59. IEEE.

Saidur, Rahman. 2009. “Energy Consumption, Energy Savings, and Emission Analysis in Malaysian Office Buildings.” Energy Policy 37 (10): 4104–13.

Yu, Liang, Zhanbo Xu, Tengfei Zhang, Xiaohong Guan, and Dong Yue. 2022. “Energy-Efficient Personalized Thermal Comfort Control in Office Buildings Based on Multi-Agent Deep Reinforcement Learning.” Building and Environment 223: 109458.