极限失控的大模型使电力系统面临的跨域攻击风险及应对措施

目录：

0 引言

1 就大模型发生极限失控的风险进行讨论的必要性、紧迫性

1.1 预训练的数据来源

1.2 能力涌现与不可解释性

1.3 大模型与物质世界的连接

1.4 数量效应与失控

1.5 大模型发生极限失控的风险

1.5.1 人工智能反叛所需要素能力的拼图

1.5.2 火种源

1.6 电力系统在人工智能反叛过程中的处境

2 极限失控的大模型对电力系统的攻击所具备的特征

3 电力系统应对大模型跨域攻击的措施

3.1 防御措施

3.1.1 在电力系统内部通信网络的硬件层采用与外网不同的通信协议

3.1.2 禁止在电力系统通信、控制网络中接入具备自然语言处理能力的大模型

3.1.3 以“疏”助“堵”，用基于新方法训练（很可能是原始创新）的专业大模型替代通用大模型

3.2 进攻措施

3.2.1 将大模型的供电网络孤岛化、去内源化

3.2.2 为确保孤岛接口的可靠断开而配备冗余资源

3.2.3 将人力操作作为断路器可靠动作的最终保障

4 结语

------------------------------

0 引言

信息物理融合系统（cyber physical system ,CPS）是集成了计算系统、大规模通信网络、大规模传感器网络、控制系统和物理系统的新型互联系统[1]。当前的智能电网已经体现出典型的CPS特征，其体系结构中的通信网络部分已经成为攻击者的重点目标[2]。

自2022年底以来，以ChartGPT、GPT-4为代表的大规模生成式预训练模型（以下简称为大模型）在自然语言处理、多模态数据处理领域展现了卓越的性能[3]。自然语言是人类描述物质世界、进化出智能的基础，大模型具备了自然语言处理能力，再叠加上多模态数据处理能力、机器运算相比于人脑运算的巨大优势，必将以经通信网络互联的状态被应用于各行各业，其中也可能包括电力系统。

然而，大模型已经表现出了通用人工智能属性[3]，其在今后的发展中很可能具备某种程度的自主性、不可预测性，甚至可能发生极限失控、对人类发起攻击、波及电力系统。所以，对来自电力系统内/外的、由极限失控的基于大模型的人工智能系统发起的、由通信网络传输的跨域攻击及应对策略进行研究，将成为大模型时代电力系统安全领域极为重要的课题。

业内已就针对电力系统通信网络的攻击、防御做了很多研究[2][4-9]，但其设定的攻击者是人而非大模型，后者相对于前者具备一些新特性，这些参考文献未予考虑。

参考文献[10]从助力攻击和助力防御两个方面详细讨论了基于ChartGPT的强大能力在网络安全领域的赋能效应及伴生风险，然而GPT-4相比于ChartGPT不但增加了多模态数据处理能力，而且在复杂问题上体现的能力大幅度超越前者。上述研究未考虑这些因素，更未涉及电力系统。

发表于2017年的参考文献[11]基于对人工智能反叛过程的简化推演，总结出人工智能反叛必备的三个要素，阐明了当前研究以及应对人工智能反叛问题的必要性和紧迫性，分析了在包括能源网络的多个领域预防人工智能反叛的思路。局限于时代，文献中述及语言理解和策略分析能力时仅能将其作为未来可能实现的技术从而止于一般性讨论，述及人工智能反叛与能源网络的关系时则限于篇幅只能择要阐述。

针对以上问题，本文将基于已公开的针对大模型的实验、研究资料，汇总分析大模型在自然语言处理、多模态数据处理、联网运行状况、连接物质世界等领域的最新进展&