通用人工智能给国家安全带来的五大难题-CSDN博客

网络摘转远方的家

2025年02月16日

通用人工智能给国家安全带来的五大难题

远望智库开源情报中心尘封编译

针对日益兴起的通用人工智能技术，兰德公司发起了一项倡议，邀请决策人员、来自私营部门和研究机构人员以及本公司的研究人员共同研究AGI对国家安全带来的潜在影响。近日，兰德公司发布了该研究成果，主要内容如下：

研究认为，近期在前沿生成式人工智能（AI）模型方面取得的突破使许多人断言，人工智能将如同1938年德国科学家实现了原子裂变一样，对国家安全产生深远影响。其影响非常之大，以至于第一个实现它的实体将拥有重大的、也许是不可逆转的军事优势。于是人们开始呼吁美国政府在全国范围内发展人工智能技术，以确保美国率先获得决定性的人工智能奇迹武器。但问题是，前沿生成式人工智能模型还没有像原子分裂时那样展现出应有的潜力，并没有显示出从科学进步到神奇武器的明确技术途径。当“曼哈顿计划”启动时，美国政府确切地知道正在发展的能力会做什么，但下一代人工智能模型的能力尚不清楚。目前还不存在推动大型国家级政府计划来追求神奇武器的动力，但这并不意味着美国政府应该坐视不管。美国国家安全战略应该认真对待世界领先的人工智能实验室所具备的开发通用人工智能（AGI）的不确定但技术上可信的潜力，以及它们将继续取得进展，直到跨越未知和潜在未知技术门槛的相对确定性。

通用人工智能可以在各种认知任务中产生人类水平甚至超人类水平的智能，这是合理的。因此，可以合理地假设它可以实现，并且将给美国国家安全带来五大难题。

难题一：AGI可能会通过突然出现一种决定性的神奇武器来实现明显的先发优势。想象一下，未来，AGI取得了一项技术突破，为开发一种能够赋予巨大军事优势的神奇武器或系统开辟了一条明确的道路。例如，①识别和利用敌方网络防御中的漏洞，并率先发动一些人可能称之为完美的网络攻击，彻底阻止报复性网络攻击。②模拟复杂的场景并精准预测结果，从而大幅改进军事行动的筹划与实施。③研发可提供军事主导地位的高度先进的自主武器系统。

AGI还可能削弱军事优势，例如，制造一种战争迷雾机器，使战场上的信息变得不可信。这种先发优势可能会破坏关键战区的军事力量平衡，造成技术扩散的风险，并加剧技术竞争。一个从AGI中获得显著先发优势的国家反映了最雄心勃勃的假设，即AGI的突然出现显著提高了认知表现，对国家安全产生了极端影响，并迅速被机构采用。然而，这些假设设想了未知概率的高后果事件。因此，审慎筹划要求美国不要假设一种神奇的武器即将出现，而是考虑这种破坏性武器在何种条件下可能出现，如果这种情况成为焦点，美国应做好准备，抓住先发优势。

难题二：，AGI可能会导致国家权力工具或国家竞争力的社会基础发生系统性转变，从而改变全球力量平衡。历史表明，技术突破很少会产生对军事平衡或国家安全产生直接、决定性影响的神奇武器。除了核武器等罕见的例子外，文化和程序因素会驱动一个机构的技术采纳能力，并且这些因素对于率先实现科学或技术突破更重要。随着美军、盟国军队以及竞争对手的军队能够接触并使用AGI，AGI可能会通过提升影响军事竞争关键组成部分的各种能力（例如隐藏与发现、精确与笼统、集中与分散的指挥和控制）来颠覆军事平衡。此外，AGI可能会破坏国家竞争力的社会基础，可能危及民主。例如，AGI可用于通过先进的宣传技术操纵公众舆论，威胁民主决策。此外，AGI系统的复杂性和不可预测性可能会超过监管框架，从而难以有效管理其使用，破坏机构的有效性。

AGI还可以通过创造新发现的源泉来大幅提高生产力或促进科学发展，从而导致经济的系统性转变。例如，自动化机器人可能会迅速取代各个行业的劳动力，导致国家国民生产总值飙升，但随着就业岗位的减少，工资会崩溃。如此规模和速度的劳动就业问题可能会引发社会动荡，威胁到民族国家的生存能力。而且，正如Anthropic首席执行官Dario Amodei最近假设的那样，强大的人工智能可以治愈癌症和传染病。无论AGI本身是否会创造奇迹武器，但AGI对其他国家权力工具的影响都可能对全球力量平衡产生颠覆性影响，可能是好的影响，抑或是坏的影响。

难题三：，AGI可能会帮助非专家开发大规模杀伤性武器。基础模型被誉为劳动生产率的福音，在很大程度上是因为它们可以加速新手的学习曲线，使非专家表现得更好。然而，这种加速的知识获取既可以应用于恶意任务，也可应用于有用的任务。基础模型能够清楚地阐明非专家可以采取的一些具体步骤来开发危险武器，如高度致命且可传播的病原体或有毒的网络恶意软件，从而扩大了能够制造此类威胁的人群。截至目前，大多数基础模型尚未证明有能力提供公共互联网尚未提供的信息，但基础模型有能力充当恶意导师，将复杂的方法提炼成非专家可读懂的指令，并协助用户规避开发武器的禁令。这种威胁可能在AGI发展之前就已经显现；正如OpenAI对其o1模型的安全评估所显示的那样，风险正在增加。

当然，知道如何制造大规模杀伤性武器与实际制造武器不是一回事。将知识转化为具体的武器研发还存在现实挑战，例如掌握技术先进的制造工艺。这些挑战可以在某些情况下，如研发核武器，将成功开发武器的实际风险大幅降低到零。但相关领域的技术发展正在降低这些实施门槛。例如，获取、编辑和合成病毒基因组变得越来越容易和便宜。人工智能体与现实世界的互动越来越多；它们可以将比特转化为分子，并在云实验室里物理合成化学试剂。鉴于这些发展，显著扩大知识人群范围以尝试开发此类武器是一个值得防范的独特挑战。

难题四：AGI可能表现为一个具有代理权的人造实体威胁全球安全。随着人类越来越依赖人工智能技术，人工智能发展的最有害影响之一可能是人类能动性的侵蚀。随着AGI控制着越来越复杂和关键的系统，它们可能会以有益于人类的方式优化关键基础设施，但也可能以人类无法完全理解的方式进行优化。这是目前对用于识别战场上军事目标的狭义人工智能的担忧，考虑到缺乏时间或能力进行确认，操作人员可能需要相信这些目标是准确的。随着人工智能变得越来越强大和无处不在，人类对它的依赖将增加，从而模糊了人类与机器决策之间的界限，并可能破坏人类的能动性。

一个单独的AGI或人工智能体社区也可能成为世界舞台上的行为体。设想具有先进计算机编程能力的AGI，由于设计好的互联网连接或使用侧信道攻击，能够突破思维定势，在网络空间与世界互动。它可以拥有人类无法控制的代理权，自主运作，并做出具有深远影响的决策。例如，AGI可能作为一种代理力量，类似于伊朗的抵抗轴心，通过某种非正式的关系来保护行为体免受追责。即使在责任明确的情况下，AGI也可能以与人类设计者或操作人员意图不一致的方式运作，造成无意伤害。它可能会在狭义的目标上过度优化，例如，实施轮流停电以提高能源分配网络的成本效益。OpenAI在其最新的人工智能o1中提高了错位风险的评分，因为它“有时在测试过程中通过故意提供不正确的信息来欺骗用户，从而故意伪造对齐”。极端情况下，可能会导致失控的情况，其中AGI对其预期目标的追求会激励机器抵制关闭，这与人类的努力背道而驰。这表明AGI可能会实现足够的自主性，并有意或无意地拥有足够的代理权，从而在全球舞台上被视为一种独立的行为体。

难题五：在实现AGI的道路上和在拥有AGI的世界里可能会出现不稳定。无论AGI最终是否实现，随着国家和企业竞相在这项变革性技术中占据主导地位，对AGI的追求可能会带来一段不稳定时期。这种竞争可能会导致紧张局势加剧，让人想起核军备竞赛，因此对优势的追求可能会引发而不是慑止冲突。在这种不稳定的环境中，各国对AGI的可行性和赋予先发优势的潜力的看法可能与技术本身一样重要。行动的风险阈值不仅取决于实际能力，还取决于感知能力和竞争对手的意图。就像冷战期间担心的那样，误解或误判可能会引发先发制人战略或武器集结，从而破坏全球安全。