大型语言模型在国家安全应用中的使用

专知   2024年07月14日 14:00 北京 听全文

2023年初，GPT-4的巨大成功突显了大型语言模型（LLM）在各个领域，包括国家安全领域的变革潜力。本文探讨了LLM在国家安全背景下的整合影响，分析了它们在信息处理、决策和运营效率方面的革命性潜力。虽然LLM提供了诸多显著的优势，如自动化任务和增强数据分析，但它们也带来了重大风险，包括幻觉现象、数据隐私问题和易受对抗性攻击的脆弱性。通过将LLM与决策理论原则和贝叶斯推理相结合，LLM可以显著改善国家安全组织内的决策过程。具体来说，LLM可以促进从数据到可操作决策的转变，使决策者能够在减少人力的情况下快速接收和提炼可用信息。

本文探讨了美国国防部及其他部门的当前应用，例如，美国空军使用LLM进行战争游戏和自动摘要，以展示其简化操作和支持决策的潜力。然而，这些应用需要严格的安全措施以确保其准确性和可靠性。LLM整合的更广泛影响涉及战略规划、国际关系和更广泛的地缘政治格局，对抗国家利用LLM进行虚假信息传播和网络行动，强调了需要强有力的对策。尽管LLM展现了人工通用智能的“火花”，但它们更适合支持角色而非引导战略决策。它们在训练和战争游戏中的使用可以为军事人员提供宝贵的见解和个性化学习体验，从而提高作战准备。

1. 引言

2023年初，GPT-4的巨大成功向全球观众展示了大型语言模型（LLM）的革命性本质。它们的能力立即被认为是可能在许多行业中带来颠覆性变化的力量，例如医疗保健、教育和金融。然而，与其他人工智能（AI）模型一样，LLM的应用范围并不仅限于民用领域；它们的能力也可能改变国家安全操作。实际上，正如英国军情六处的理查德·摩尔所指出的，AI，包括LLM，已经成为当前威胁环境中的关键因素，作为许多工具和实践的力量倍增器。

这种转变的性质和程度尚未确定，但猜测甚多。例如，在国防应用中使用AI是一些观察者感到不安的话题，令人联想到流行文化中的天网形象。然而，许多不涉及自主武器使用的应用可以通过AI集成来彻底重塑。这些应用与民用活动（例如，自然语言处理任务、计算机视觉实现和决策分析问题）重叠，是LLM正在迅速商业化的领域。因此，关于在国防应用中使用LLM的意见不一；支持者认为它们可以用于创建虚拟克劳塞维茨，而反对者则认为它们在任何国防环境中的使用都会导致危险的幻觉。在考虑将LLM用于军事活动之外的其他国家安全工具（例如，外交、信息和经济措施）时，也会出现类似的争论。

从统计学家或数据科学家的角度来看，将LLM应用于国家安全问题会感到非常熟悉，尽管这一领域有其特有的独特性。几乎每个民用活动都有一个国家安全的对应物，这意味着为特定民用任务开发的LLM可以在经过特定领域修改后扩展到国家安全环境。军医可以在LLM的支持下进行决策，只要这些系统已经针对战斗现实进行了调整。同样，LLM可以通过自动摘要、情感分析和主题建模支持军事指挥官的决策，只要它们已经在特定领域的词汇、缩写和术语上进行了训练。然而，国家安全环境改变了某些LLM设计挑战的相对重要性。例如，即使LLM仅在武装冲突期间用于自动摘要，如果这些摘要为高级别决策提供信息，幻觉的影响可能是灾难性的。在另一个极端，如果LLM用于提供战略或计划建议，那么模型的可解释性和输出透明性对于确保有效的人类监督至关重要。这同样适用于理解LLM在国家安全应用中的新兴能力。此外，当LLM可以访问机密信息时，数据隐私的重要性和提示注入攻击的相关性急剧增加；如果底层信息没有得到适当保护，危及国家安全人员和民众的安全事件（例如，数据泄露）将构成重大风险。国家安全环境风险高，LLM应用中几乎没有容错空间。

因此，在本手稿中，我们探讨了LLM对国家安全应用的影响，从美国参谋长联席会议提出的战略竞争连续体的角度来看。这一框架不将国际冲突视为二元的（例如，战争及其缺席），而是解释了竞争对手之间在多个领域中从和平合作到武装冲突的互动的连续变化。我们综合了对LLM用于国家安全应用的不同观点，审视了LLM在国防环境中的当前使用情况，探讨了它们在国防应用中的有效使用，并预测了它们对国家安全的更广泛影响。此外，虽然LLM是本手稿的重点，但我们也强调了LLM与替代的概率、统计和机器学习（ML）方法的接口，以确定这种相互作用如何影响国家安全操作。

本手稿的其余部分结构如下。第2节检查了国家安全机构当前对LLM的应用，并回顾了其与该主题学术研究的关系。通过这种方式，我们具体探讨了LLM在某些国家安全组织中的接受度，并调查了它们与其他国家安全学者观点的关系。基于这些信息，第3节提出了我们关于如何将LLM最好地整合到国防应用中的看法，并讨论了它们对其他国家力量工具的更广泛影响。第4节提供了结论性意见并提出了未来研究的途径。

2. 快速演变和不确定的格局

尽管大型语言模型（LLMs）的卓越表现显而易见，但在实际应用中的实用性仍存在不确定性。这种不确定性典型体现在谷歌在其搜索引擎中整合多模态LLM Gemini的困难[12]以及最近关于生成性AI利用的调查[88]。然而，LLM领域正在快速演变，促使众多利益相关者试验其在国家安全操作中的相关转型。本文回顾了这些实验及其与学术文献的关系。

2.1. 国家安全组织的最新LLM计划和应用

从美国国防部（DoD）的角度来看，高效LLMs的出现正是创新的绝佳时机。在近二十年的反恐行动之后，2018年《国家防御战略》（NDS）重新将DoD的重点转向国家间战略竞争。这一战略承认冷战后美国享有的军事优势已经减弱[40]，并提出DoD将“广泛投资于自主、人工智能（AI）和机器学习（ML）的军事应用，包括快速应用商业突破。”在其发布六年后，2018年NDS揭示的采办实践已扎根，并在DoD的LLMs应用中显现其影响。

2023年8月，DoD数据与AI办公室（CDAO）下成立了Lima特遣队（TF Lima），其明确目标是识别生成性AI和LLMs的低风险应用[78]。这种对低风险领域的关注与拜登[5]和美国国防部[70]关于负责任AI使用的最新战略指导一致；在国防部副部长凯瑟琳·希克斯的观点中，“大多数商业可用的由[LLMs]驱动的系统尚未技术成熟到能够符合我们DoD的伦理AI原则。”在撰写本文时，TF Lima的工作仍在继续；然而，它强调了DoD利用LLMs来简化其内部官僚机构的员工操作，例如自动摘要条令、指令和政策手册。TF Lima还在努力识别LLMs如何影响分类指南，特别是考虑到组合分类的影响，即国家安全中特殊的未分类信息在组合后变为分类信息的情况[81]。针对这些问题，TF Lima还构建了一个“虚拟沙盒”，军人可以通过它实验生成性AI工具[80]；合适地是，TF Lima有自己的ChatGPT实例，可用于讨论其活动[67]。

尽管统一的实验平台仍在开发中，LLM的发展速度已使其他DoD机构需要与TF Lima并行工作。美国空军（USAF）尤为活跃，LLMs在2024年USAF数据、分析和AI论坛的讨论主题中占据了首要位置。多个USAF组织已经开发了概念验证，利用LLMs加速各种编码和行政任务。例如，空中机动司令部利用LLMs根据用户定义的文本叙述生成行动模拟。此外，包括US Air Forces Central在内的其他USAF组织使用LLMs加速其本地软件工具的日常维护。最近，在Bravo 11黑客马拉松上，美国太平洋空军团队领导了一个雄心勃勃的用例，LLMs自动总结传入的任务报告，为指挥官快速提炼见解[32, 57]。通过这样做，团队展示了LLM如何轻松处理一个手工操作需要多个操作员和数周工作时间的任务。类似的时间节省在空军测试中心的数据黑客马拉松上展示，当时创建了一个LLM流水线，自动生成飞行测试文档，例如计划和报告[11]；这些原型基于相对较小的MPT-7b、MPT-30b、Falcon-7b和Falcon-40b模型，增强了定制的检索增强生成（RAG）架构。

此外，空军大学的创新中心（AUiX）一直在开发一个用于战争游戏的GPT框架，称为战斗知识综合启发式实用工具（CHUCK），目前处于测试阶段，但显示出令人兴奋的未来潜力。这一举措是与斯坦福大学胡佛研究所和麻省理工学院人工智能加速器（MIT/AIA）的广泛合作的一部分，旨在推进战争游戏技术并探索LLM对危机决策的影响。这些努力与空军未来办公室的AI计划一致，探索如何通过运行成千上万次迭代来优化策略和决策，从而提高战争游戏的质量[21]。这些举措旨在通过引入AI能力来改造传统战争游戏，以提高战略分析和操作规划。

结合这些战争游戏的努力，空军研究实验室还开发了NIPRGPT，这是一个LLM，最近被USAF清理并部署在指定的未分类系统上[49]。

此外，USAF最具创新性的用例来源于其学术机构。USAF学院数据科学项目的学员们构建了一个基于LLM的原型，以现代化USAF Envision平台的用户界面。该原型是一个“无代码”解决方案，允许用户通过文本叙述提交统计查询，并收到带有相应解释的输出。例如，用户可以请求按委任来源对飞行员培训毕业率的图形摘要，工具会输出一个箱形图并附带如何解释该图的叙述。USAF学院还在其统计课程中使用LLMs进行评估。在2024年春季学期，LLMs被用于应用统计建模课程（即MATH 378），代替考试进行“口头答辩”；即，学生需要与LLM在指定的一组主题上互动，相关的记录用于评估学生的知识。LLMs进一步被整合到USAF学院的教学中，通过开发虚拟教学助手。值得注意的是，数据科学项目的高级学员创建了QuantaIQ原型，利用LLMs生成作业、进行评估，并通过问答环节与学生互动。

美国其他军种也在探索LLMs，尽管它们的方法和应用各不相同。美国陆军正在通过在军事视频游戏中使用生成性AI来改进战斗计划，利用LLMs，包括OpenAI的GPT-4 Turbo和GPT-4 Vision模型，提供战场地形和友军及敌军信息[61]。此外，陆军正在制定新的政策指南，以指导部门在简化操作的同时解决安全问题的生成性AI使用[22]。与Scale AI合作，海军陆战队创建了一个名为Hermes的LLM，协助军事规划，通过综合数据、生成假设和精炼行动方案[29]。在海军陆战队大学，专家们将LLMs整合到模拟和战争游戏中，测试它们是否能改进分析产品并简化军事学生的使用[79]。这些实验表明，LLMs可以增强规划过程并提供有价值的见解，但也需要人类监督来管理当前的限制，如幻觉和结构性偏见，以确保准确性。

相比之下，美国海军对使用LLMs采取了更加谨慎的态度。根据海军代理首席信息官发布的一份最新备忘录，“使用专有或敏感信息构成了独特的安全风险，并可能导致数据泄露，当被商业生成性AI模型使用时。”[53]。海军的政策建议在安全要求得到充分调查和批准之前，不要将商业LLMs用于操作目的[14]。这种谨慎态度反映在通过Jupiter，海军的企业数据和分析平台，确保安全使用LLM技术的努力中[50]。类似地，美国太空军在2023年10月因担忧敏感数据的保护，实施了临时禁令，禁止将生成性AI和LLM工具用于官方目的[23]。截至本文撰写时，该禁令仍在生效，服务仍在评估如何安全地将生成性AI能力整合到其任务中[24]。

除了DoD，其他美国国家安全机构也在探索LLM的应用。中央情报局（CIA）在ChatGPT普及之前的三年多就开始探索生成性AI和LLM的应用。例如，生成性AI被用于2019年CIA名为“黑矛行动”的行动，帮助识别参与非法中国芬太尼贩运的实体[2]。此后，CIA利用生成性AI总结潜在刑事案件的证据，预测地缘政治事件，如俄罗斯入侵乌克兰，并跟踪朝鲜导弹发射和中国太空行动[2]。事实上，CIA开发的生成性AI工具Osiris目前被美国所有十八个情报机构的数千名分析师使用。Osiris操作开源数据生成注释摘要，并对分析师查询提供详细响应[2]。CIA继续探索LLM在其任务集中的整合，最近采用微软的生成性AI模型在一个隔离的云环境中分析大量敏感数据，以增强数据安全并加速分析过程[64]。其他机构，如使用LLMs检测和修复关键软件漏洞的国防高级研究计划局（DARPA）和与北约合作以增强AI安全的MITRE，也在探索LLMs在其应用领域的影响[76, 68]。

此外，盟国也在积极调查LLMs以增强各领域的军事能力。例如，由北约盟军转型司令部（ACT）和荷兰国防部共同主办的2024年TIDE黑客马拉松，包含了一个LLM战争游戏挑战赛[48]。这一挑战赛重点是使用LLMs改进军事战争游戏，创建动态场景并提供实时反馈，以增强盟军之间的互操作性、决策和战略制定。除ACT外，北约通讯和信息局（NCI Agency）也在开发一个AI认知代理，以自动化例行的IT支持任务[20]。同样，英国深度科技初创公司Hadean获得国防与安全加速器（DASA）的合同，开发用于英国陆军虚拟训练空间的LLM[25]。这一计划旨在创建一个具有现实人类地形和社交媒体模拟的动态虚拟环境，提供实时反馈，生成复杂场景，并协助事后报告，以增强军事训练和决策。此外，美国和澳大利亚正在利用生成性AI在印太地区取得战略优势，重点应用包括增强军事决策、处理声纳数据和扩展跨大范围的操作[3]。这些努力正在加速数据处理、改进威胁识别和响应，并通过投资AI人才和重新技能培训军事人员，帮助保持技术和操作上的优势。这些例子展示了LLMs对现代军事战略和操作的变革潜力。

除了美国国防部及其盟友，国家的战略竞争对手（如中国、俄罗斯、朝鲜和伊朗）也在探索LLM的国家安全应用。例如，中国使用类似ChatGPT的百度文心一言LLM来预测战场上的人类行为，以增强战斗模拟和决策[41]。一些报告指出，百度文心一言在准确性和实时信息处理方面超越了ChatGPT，但由于限制在政治询问方面表现不佳[66]。此外，怀疑与俄罗斯政府有联系的CopyCat网络利用LLMs操纵媒体内容进行信息战[19, 44]。CopyCat网络抄袭、翻译和编辑合法媒体的内容，以传播与俄罗斯利益一致的偏见政治信息，并被认为在乌克兰冲突和美国政治上生成复杂的叙述，这对于公共官员来说特别难以反驳。此外，中国、伊朗、朝鲜和俄罗斯的疑似国家支持的黑客被指控使用LLMs协助网络操作，例如生成恶意代码和钓鱼活动的内容[18]。例如，朝鲜的Kimsuky组织利用LLMs增强其军事网络能力，通过生成钓鱼活动的内容，针对关注朝鲜防御和核问题的组织，从而提高其情报收集和漏洞利用的能力。这些在这些能力中的广泛探索突显了该技术在网络和信息战中的威胁，迫切需要开发应对措施以保障国家安全。

2.2 与学术视角的关系

严格来说，大型语言模型（LLMs）是通过预测短语中的下一个词来进行训练的，基于之前观察到的词。然而，LLMs在国家安全应用中的使用并不关心这个任务本身。相反，国家安全组织通常关注的是LLMs的突现能力。这种突现能力的存在并未得到普遍接受（例如，见[35, 59]）。尽管如此，不可否认的是，大多数使用LLMs的国家安全应用都试图将技术扩展到LLMs训练任务之外。自然语言任务在国家安全组织的当前努力中占据重要位置，在这方面，LLMs的能力已被广泛认可。具体而言，Min等人[42]调查了预训练语言模型在多种自然语言任务上的最先进性能。Minaee等人[43]最近更新了这一调查，并且鉴于发展的快速步伐，近期可能还需要进行另一项调查。在国防环境中，LLMs在自动摘要方面的能力尤为相关。Zhang等人[90]研究了LLMs在新闻文章摘要中的表现，发现各种LLMs的表现与人类相当。作者还确定，提示和指令调优，而非模型大小，决定了零样本摘要的模型性能。这个结果预示了在防御环境中使用LLMs时提示工程的一般重要性。

此外，鉴于国家安全操作的巨大规模，理解LLMs在摘要更长文档或语料库时的表现至关重要；这些文档通常超过标准LLMs的上下文窗口大小。Chang等人[7]构建并验证了一个评估LLMs在这些文档上性能的指标，初步结果表明它们在这个任务上的表现类似于人类。Schmidt和Robert[60]特别研究了LLMs在DoD采办环境中的摘要性能，并得出了有利的结果。

另一方面，LLMs在文本生成方面的显著效率也意味着它们在信息战中的效率。Goldstein等人[17]和Low[34]探讨了LLMs如何自动化影响操作，绕过了曾经是该领域特征的劳动密集型水军[84]。结合其他生成性AI模型的虚假信息威胁[85]，迫切需要一个有效的机制来检测LLM生成的宣传。Wan等人[82]提出了一个原型管道来实现这一目标。然而，Chen和Shu[8]的工作表明，这些信息可能比人造信息更难检测，这本身就是一个相当困难的任务[89]。Uchendu等人[69]也讨论了深度伪造文本的识别，得出结论认为通过人类合作可以促进这一困难任务的完成。

有趣的是，利用AI进行战略开发的愿望早在LLMs出现之前就存在。Bazin[4]提出了“虚拟克劳塞维茨”的概念，这是一个具有全人类军事思想访问权限的认知计算系统，可以为高级军事领导人提供建议。LLMs的发展增加了这些想法的相关性。值得注意的是，COA-GPT[15]是一个基于LLM的工具，旨在自动化联合规划过程中的COA开发阶段[74]，作者在StarCraft II中将其与基线强化学习方法进行了测试，结果令人满意。Goecks和Waytowich[16]提供了一个类似的规划工具，专注于灾难救援行动。然而，值得注意的是，Simmons-Edler等人[63]和Hunter及Bowen[28]警告反对使用此类系统，前者反对LLM推荐系统，后者则更普遍地反对在军事指挥决策中使用AI。Simmons-Edler等人[63]指出LLMs可能会导致局势升级及其建议的难以处理性。Hunter和Bowen[28]认为，依赖AI进行指挥决策可能会降低战略开发的标准和实践。近期在桌面战争游戏中的实证研究证实了一些这些担忧。Rivera等人[55]进行的战争游戏实验中，每个国家都使用商业LLM进行建模；测试了GPT-4、GPT-3.5、Claude 2、Llama-2 (70B) Chat和GPT-4-Base。结果表明，LLMs倾向于发展军备竞赛动态，导致更大的冲突，并在少数情况下使用核武器。Lamparth等人[31]同样比较了LLMs和人类在美中战争游戏中的表现。作者发现，尽管两组行为相似，LLMs更具侵略性。此外，Lamparth等人[31]发现，提示的冗长性影响了LLM的行为。这些发现对未来自动化战争游戏具有高度相关性（例如，见Snow Globe系统的[26]）。

可以说，这些更雄心勃勃的努力依赖于LLM具有某种形式的内在知识，或者至少能够反映人类的逻辑推理。关于这两个主题，文献中存在不同的观点。Yildirim和Paul[87]讨论了LLM知识的性质，将LLM的工具性知识与人类的现实知识进行对比。Saba[58]强调，LLMs不能被依赖于提供事实信息，因为在当前的训练中，事实和非事实信息没有区分。在这种情况下，如果LLM不能区分事实与虚构，其知识的性质便存在疑问。此外，Huang和Chang[27]考虑LLMs是否以及如何执行逻辑推理，得出结论认为，对于像GPT-3 175B或更大的LLMs，推理是一种突现行为，尽管它们在复杂逻辑任务上有困难。另一方面，Ellis[13]认为高效的人类学习本质上与其进行归纳推理的能力有关。他声称，开箱即用的LLMs在这一任务上有缺陷，但可以通过在预训练的LLM上叠加贝叶斯模型来解决这一缺陷。抛开LLM知识和推理的实际性质不谈，许多研究人员和从业者试图在各种游戏和战略决策任务中利用LLMs。Xu等人[86]和Chen及Chu[10]分别提供了全面的调查，进一步探讨了LLMs在国家安全规划中的应用。

最后，鉴于国家安全操作相关的重大影响，如果我们不讨论可解释性、可解释性或对抗性机器学习，将是失职。这些子学科对于将LLMs用于战略决策至关重要。可解释机器学习和可解释机器学习都关注可追溯性，但通过不同方式。可解释机器学习寻求构建简单而强大的模型，而可解释机器学习努力识别黑箱模型的简单而忠实的近似。迄今为止，LLMs最好被视为黑箱模型，这意味着可解释技术（例如，见Deep SHAP值的[36]）最适用；然而，开发可解释图像分类器（例如，见[9]）表明开发高性能、可解释的语言模型是可行的。如果这些方法能够成功识别不良行为，例如自动摘要中的偏见[91]，那么应用任何一种方法都是有用的。另一方面，对抗性机器学习关注在存在对手时的ML方法的腐败和防御。在LLMs的背景下，训练时攻击可以用于根据攻击者的目标修改输出。Bagdasaryan和Shmatikov[1]提供了一个具体的例子，通过对训练数据进行中毒攻击，促使LLMs根据对手的观点生成自动摘要。部署时攻击针对预训练的LLM，关注修改输入数据以影响期望的输出。Raina等人[52]探讨了对评估LLMs的此类攻击，通过附加短通用短语来破坏模型性能。这些攻击对国家安全的威胁是不言而喻的。如果攻击者能够操纵一个为指挥决策提供信息的LLM，陷阱可能会提前设置，以便对手按照其愿望行事。关于对抗性机器学习的更多信息，我们推荐感兴趣的读者参考Oprea和Vassilev[51]。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复或发消息“LMNS” 就可以获取《大型语言模型在国家安全应用中的使用》专知下载链接

写留言

专知

3 50 在看 写留言

复制 搜一搜 转发 收藏 划线

人划线