电力领域大模型

2023年12月，arXiv预印本平台发表了一篇题为"Large Foundation Models for Power Systems"的研究论文。该文系统探讨了大型基础模型如大型语言模型（LLMs）在电力系统建模和运行中的应用前景。研究重点关注了大型基础模型在最优潮流计算、电动汽车充电调度、能源领域文档理解和态势感知四个关键应用领域的实现方法和性能表现。论文提出了LLM4OPF、LLM4EV、LLM4Doc和LLM4SA等创新框架，通过实验验证了这些模型在处理复杂电力系统任务时的有效性。研究结果表明，大型基础模型即使不经过特定任务的微调，也能在电力系统应用中展现出显著性能，为提高系统运行效率和可靠性提供了新的技术路径。同时，文章也深入讨论了大型基础模型在电力系统实际应用中面临的计算效率、知识局限性和多模态数据整合等挑战。
paperwithcode链接
https://paperswithcode.com/paper/large-foundation-models-for-power-systems
论文链接
http://export.arxiv.org/abs/2312.07044
GitHub链接
https://github.com/chennnnnyize/LLM_PowerSystems
这些模型能够在没有特定任务数据收集或模型训练的情况下，响应广泛的自由格式查询，为大规模电力系统的建模和运营创造了研究和应用机会。

研究者们通过在电力系统领域的四个代表性任务上验证现有基础模型的性能，这些任务包括最优功率流（OPF）、电动汽车（EV）调度、电力工程技术报告的知识检索和态势感知。结果表明，这些基础模型在提高电力系统运营流程的效率和可靠性方面具有强大的能力。

论文还提供了关于未来在电力系统应用中部署基础模型的建议和预测。

1.研究还介绍了一种名为PowerPM的基础模型，它在大规模层次化电力时间序列数据上进行了预训练，用于电力系统。
2.PowerPM模型包含约2.5亿参数，通过自监督预训练框架（包括掩蔽电力时间序列建模和双视图对比学习）来捕获电力时间序列数据中的时间依赖性，并意识到不同时间序列窗口间的差异。
3.实验涉及五个真实世界的电力时间序列场景数据集，包括私人和公共数据。通过在大规模电力时间序列数据上进行预训练，PowerPM在多种下游任务中实现了最先进的性能。
4.当转移到公共数据集时，PowerPM保持了其优越性，展示了其在不同任务和领域中的显著泛化能力。

最优潮流计算（Optimal Power Flow，OPF）

研究人员开发了一个名为LLM4OPF的框架，利用大型语言模型直接通过自然语言交互来求解简化的OPF问题。该框架通过迭代生成新的解决方案，并评估其是否满足约束条件。LLM4OPF的工作流程如图1所示，包括检索数据、输入提示、生成新解决方案、评估约束满足情况、计算成本、存储解决方案-成本对，最后输出具有最小成本的解决方案。

电动汽车充电调度

研究人员提出了LLM4EV框架，该框架利用大型语言模型作为用户和电动汽车充电控制算法之间的中介。这使得根据用户偏好设置最优调度模型变得更加简单。LLM4EV的工作流程如图2所示，包括描述任务、用户查询、要求用户输入参数、用户响应、生成代码以调用函数、Python解释器执行，最后向用户解释结果。

能源领域文档理解

研究人员构建了LLM4Doc流程，用于处理和检索电力系统文档中的知识。该流程采用检索增强生成（Retrieval-Augmented Generation，RAG）技术和提示工程（Prompt Engineering，PE）作为核心机制。RAG是一种基于自然语言生成和信息检索的混合机制，能够通过从有价值数据语料库中提取信息来丰富LLMs的知识。LLM4Doc的工作流程如图3所示。

利用多模态能力进行态势感知

研究人员提出了LLM4SA框架，利用GPT-4V的多模态能力实现基于场景图像的态势感知。该框架通过上下文学习和提示工程来实现零样本/少样本场景理解。多模态模型能够连接不同数据类型（如语言、视觉等）的学习表示，从而获得更全面的理解并生成适当的响应。