如何管控AI或自主武器系统以降低冲突升级或失控的风险

AI和无人自主武器系统的引入非常有可能带来一些新质的军事能力，改变传统军事的战略和战术格局。一般而言，使用AI和无人自主协同可以提升攻击精度和效率，但也可能降低发动冲突的门槛，进而导致更多的误会、误解、误判和冲突升级。如通过精确制导的武器系统，冲突方可以更有效地打击目标，但这种精确性也可能导致对误伤的低容忍度，进而加剧冲突，另外，AI系统的快速决策能力虽然可以提升战斗效率，但也可能缺乏足够的情境判断和伦理考虑，增加误判的风险。尤其是AI在信息战中的应用，例如深度伪造技术，可以制造虚假信息，扰乱对手的决策，导致冲突双方的误解和反应失控，从而使得冲突更加难以预测和控制。

人工智能武器之所以能够导致冲突意外升级或失控，主要是由于：（1）误判和错误识别。AI武器系统可能在识别目标时出现错误，将友军、平民或非军事目标误判为敌方目标，导致不必要的伤害和破坏，这种误判可能会引发对手的强烈反应或报复，进而升级冲突；AI系统可能无法完全理解复杂的战场环境和情境，从而做出不恰当的决策，如在战斗中，AI可能无法充分考虑敌方的战术意图和背景信息，导致行动失败或对敌方造成过度打击等；（2）自动化决策的缺乏灵活性。AI系统在作出决策时通常依赖预设的规则和算法，缺乏情境判断，可能会忽略或无法处理复杂的动态战场情况；自动化决策缺乏人类在复杂情境下的灵活性和伦理考量，可能导致过度使用武力或忽视外交解决方案；AI系统在面对战场上不断变化的条件和对手战术时可能表现出僵化，不能迅速适应新的信息或环境变化，从而做出不合时宜的回应。（3）系统漏洞和网络安全问题。AI武器系统可能成为网络攻击的目标，黑客可能通过操控或干扰系统来导致错误的行动或攻击，这种网络安全威胁可能使武器系统失控，甚至反过来对自己的阵营造成威胁；同时，恶意行为者可能试图利用AI武器进行非法活动或挑起冲突，AI技术的普及增加了被滥用的风险，可能导致不受控制的军事行动。（4）决策链的加速和复杂性。AI系统的决策速度远远快于人类，这虽然提升了作战效率，但也可能导致冲突的迅速升级；AI可能在未完全评估后果的情况下迅速做出决策，增加了误判和冲突激化的风险；AI系统在面对复杂的战场环境时可能做出非预期的决策，增加了冲突的不可预测性，这种复杂性使得对冲突进程的控制变得更加困难。

上述这些因素或共同作用，可能导致人工智能或无人自主武器系统武器在冲突中引发意外的升级或失控。为了应对这些风险，需要制定严格的国际规范和监督机制，并采取多方面的策略和措施，进而确保AI技术在军事领域的负责任应用，以下是一些建议：（1）制定国际法规和标准。推动制定全球性的国际条约和协议，明确人工智能在军事应用中的使用规范，类似于《禁止生物、化学武器公约》和《禁止核武器武器公约》，这些条约可以为AI武器的研发、部署和使用设立框架和限制；制定技术标准和最佳实践，确保AI系统的开发和使用符合安全和伦理要求，这些标准应包括系统设计、测试和验证过程中的严格规定。（2）加强技术透明度和审计。鼓励开放和透明的技术开发流程，使得AI系统的工作原理和决策逻辑可以被审查和验证，此举有助于识别潜在的问题并提高系统的可靠性；建立独立的审计机构，对AI系统进行定期检查和评估，确保其遵守国际法规和技术标准，防止滥用和系统漏洞。（3）强化伦理和法律框架。制定伦理指导原则，确保AI系统在军事应用中的使用符合人道主义和国际法的基本原则，包括对平民的保护、避免不必要的伤害和维持战斗中的比例原则；明确AI系统在军事行动中的法律责任，确保在系统出现失控或误判时，相关责任方能够被追责，确定人工智能的决策责任归属问题对于维持法律和伦理的透明性至关重要。（4）建立控制和监控机制。确保AI系统在军事应用中的决策过程中始终有合适的人类监督，关键决策应由人类操作员进行确认，以防止完全自动化系统失控；实施实时监控系统，跟踪AI武器的运行状态和决策过程，确保其符合既定的规则和策略，及时发现和纠正系统异常。（5）增强网络安全。加强对AI系统的网络安全防护，防止黑客攻击和系统被篡改，实施多层次的安全措施，包括加密、身份验证和入侵检测；建立应急响应机制，应对可能出现的网络攻击或系统故障，迅速采取措施恢复系统的正常运行。（6）促进国际合作和信息共享。鼓励国际社会在AI军事应用领域的合作，分享信息和经验，以共同应对技术带来的挑战，国际合作可以帮助制定统一的标准和应急预案；建立跨国的信息共享平台，及时共享有关AI技术应用和潜在风险的信息，提升全球应对能力。

从“以人为本，AI向善”的人机环境系统工程的角度来看，管理人工智能（AI）或自主武器系统以降低冲突升级或失控的风险，可以采取以下策略：（1）设计可控的系统。确保AI系统设计时充分考虑人机协作，使得系统能够与人类操作员有效地互动；设计界面和反馈机制，帮助操作员实时了解AI系统的状态和决策过程，从而能做出适时的干预；采用渐进式控制模式，让AI系统在有限的、受控的环境中进行初步测试和应用，逐步增加其自主性和复杂性，提前识别和解决潜在问题，防止系统在全面部署前失控。（2）优化系统可解释性和透明性。设计AI系统时注重可解释性，使得系统的决策过程可以被操作员和审察人员理解，透明的决策逻辑有助于检测异常行为，确保系统的运行符合预期；构建有效的反馈机制，让人类操作员能够实时监控和理解系统的决策和行为，包括提供系统状态报告、决策依据和警报功能。（3）实施动态监控和调节。部署实时监控系统，对AI和自主武器系统的操作进行持续跟踪，监控系统应能够检测到潜在的异常或失控情况，并立即向操作员发出警报；在系统中集成动态调节功能，能够根据实时数据和环境变化自动调整系统的行为，如在系统检测到异常行为时，可以自动降低系统的自主性或切换到手动控制模式。（4）建立多层次的安全保障。设计多层次的安全防护措施，包括物理安全、网络安全和操作安全，确保系统能够防御各种类型的攻击，并在发生异常时能够进行自动修复或隔离；在系统设计中引入容错机制，使得系统在出现部分故障或异常时仍能继续安全运行，避免全系统失控的风险。（5）进行全面的验证和测试。使用仿真技术对AI系统进行广泛的测试，以评估其在各种环境和情况下的表现，通过模拟不同的冲突场景，识别系统潜在的风险和薄弱环节；在实际环境中进行现场试验，验证系统在真实操作条件下的表现，现场试验可以揭示仿真测试中未能发现的问题，并提供改进的依据。（6）设立明确的责任和控制机制。明确AI系统和自主武器系统的操作责任，确保在出现问题时能够追责，操作员和系统开发者的职责应清晰定义，以便在发生失控情况时能够迅速采取适当的措施；设置严格的控制权限，确保只有经过授权的操作员能够对系统进行关键操作和调整，控制权限的管理应符合最小权限原则，减少人为错误和滥用的风险。（7）促进跨学科合作和培训。鼓励工程师、伦理学家、法律专家和军事专家等多领域的专家合作，共同开发和管理AI系统，这有助于从多个角度识别和解决系统可能带来的风险；对操作员进行全面培训，使其能够熟练掌握AI系统的操作和应急处理技能，培训内容应包括系统的功能、限制和处理异常情况的应对策略。

通过这些措施，可以有效地降低人工智能和自主武器系统在冲突中的升级或失控风险，从而确保这些技术的安全和可靠应用。

人类的智能是科术、技术与艺术的综合体！算计（谋算）侧重于艺术方面，包括智能部分与反智能部分，是非单纯数的计算，正可谓：上兵伐谋，其次伐交……

1、计算计也是计算推理与谋算调用的融合过程；
2、在态势感知中，“态”与“感”往往使用推理，“势”与“知“常常使用调用；
3、计算是推理，谋算（算计）是分解、重组、调用，是感性与理性的共用。