《中国人工智能学会通讯》——1.36 禁止全自主武器的诸多原因

1.36 禁止全自主武器的诸多原因

这里的核心考量在于这种武器一旦被激活，便拥有无需人工干预的目标选择和锁定能力。也就是说，我们不再需要一个有情感和思想的人来告诉系统攻击什么或者是什么时候发起攻击，因为这些工作都将被武器系统自身取代。这种改变所带来的影响已远远超越武器装备形式本身，从而上升到战争形态层面的剧烈改变，很容易使交战各方忽略人道主义的基本要义。

很多人工智能研究人士将特别关注全自主武器数量的快速增长及其可能给全球带来的安全威胁。即使是只有一个国家拥有的这样的武器，那么其他国家也会纷纷跟进，从而保证其国防安全和技术领先，陷入新一轮的机器人武器军备竞赛。

在那封由数位最为知名的人工智能专家署名的公开信中，这样描述：“如果任何一个军事大国推进智能武器研究，一场全球军备竞赛将不可避免……我们因此坚信任何带有军事意义的智能武器对人类与人性都是有百害而无一利的。放弃制造新的杀人工具，人工智能技术也一样能够以其他多种方式介入战场，用来保护战斗人员，特别是平民的人身安全……多数人工智能研究者对建造智能武器并无兴趣——也绝不想看到其他人助纣为虐，从而玷污了他们这个领域的名声，引发公众反弹，进而严重低估人工智能技术可能带来的正面社会效益。” 2可以预见，全自主武器完全可能被专制政权或者无视法律存在的无政府武装组织获得，那么这些武器将变成专制者施行镇压和恐怖活动的完美工具。

另一种关于武器泛滥的担忧在于，全自主武器的使用会让决策者毋需考虑士兵生命安全因素，因而提升了武力攻击发生的可能性，导致人们更易于诉诸武力解决争端与冲突。这无疑会加剧全世界范围内的不稳定因素。

对于很多人来说，这种武器将会逾越道德与良知的底线，将战场上生与死的决断交给了机器。将如此责任交予机器可谓是对人类尊严的终极践踏3 。在这个意义上，允许没有任何怜悯之心的机器人来决断何时使用武力是无法为多数为所接受的，因为怜悯心是杀戮其他人类同胞的最后也是最关键的一道心理关口。

在我与不同的群体受众就此话题进行广泛深入探讨的过程中，我讶异于如此多的人内心对于全自主武器这一概念有着深深的反感。在日内瓦公约和其他众多场合被采纳的马尔顿斯条款正是考虑到这种公众反感情绪制定出来的，并成为了国际法中的核心章程。在马尔顿斯条款框架下，全自主武器须遵循“人道原则”及“公众良知”，可是这显然是做不到的。

全自主武器是否能在战斗中遵守国际人道法（IHL）的核心条款？是否能在执法行动、边境管制或其他情形下遵守国际人权法（IHRL）？这些都是关于全自主武器的严肃的问题。虽然我们很难预测多年后的技术能产生什么，但是我们有理由怀疑这些产物是否遵循未来国际法，这当然也包括战争限制比例原则。

人类那与生俱来的直觉和判断力是其遵守国际人道法的必要条件，机器人可以复制这种能力以便判断个人动机和进行客观决策吗？战争限制比例原则中的“比例原则”旨在避免军事收益小于平民伤亡的攻击事件，由于遵守此原则很大程度上依赖于当时的情境因素，而情境又可能因为事实的微小变化产本质扭转，所以让机器去遵守战争比例原则是相当困难的。此外，当机器人违反了相关法律和原则，责任追查机制的缺失也是一个严重的问题，总不能硬生生的把一个自主机器人犯下的过错强加于某个自然人的头上吧？不管这个自然人是运维人员、指挥官、程序员还是制造厂商法人，似乎都不合适。

对于这些能对平民和士兵造成潜在巨大威胁的武器4 ，科学家与部队高官们也提出了一系列的技术和操作层面的顾虑。其中的一个重要问题就是这种机器人之间的战争是什么样的？即这些由复杂算法控制的装备之间会怎么交互 ?
综上所述，如此众多的顾虑明确要求我们提前加紧制定新的国际条约来禁止研制、生产和使用全自主武器，并明确要求始终由有意义的人类控制来主导目标锁定和攻击决策。