科幻成真？警惕AI的致命威胁！

加利福尼亚州的“前沿人工智能模型的安全与创新法案”（简称SB-1047）引发了大量关于大型人工智能模型“安全性”的头条新闻和讨论。但批评者担心，该法案对将来AI模型存在威胁的过分关注可能会严重限制今天更平凡、不具威胁性的AI用途的研究与开发。
由州参议员斯科特·维纳（Scott Wiener）提出的SB-1047法案在今年5月以32比1的投票通过了加州参议院，并且在8月的州议会最终投票中似乎处于有利地位。该法案要求那些背后有足够大的AI模型的公司（目前设定为培训成本达到1亿美元，以及这些成本今天所隐含的计算能力）必须建立测试程序和系统，以防止和应对“安全事件”。
该法案对这些安全事件的法律定义反过来集中在定义一套AI系统可能促成的“严重伤害”。这包括导致“大规模伤亡或至少50亿美元损失”的伤害，如“制造或使用化学、生物、放射性或核武器”（嘿，天网？）或“对关键基础设施进行网络攻击的精确指令……”。该法案还提到了“对公共安全和安保构成的其它严重危害，其严重性与明确列出的相当”。
AI模型的创建者不会因为通过分享来自模型外部的“公开可访问”信息而造成的伤害而被追究责任——比如，简单地要求大型语言模型总结《无政府主义食谱》可能不会违反法律。相反，该法案似乎最关注可能提出“对公共安全和安保的新颖威胁”的未来AI。不仅仅是人类使用AI来构思有害的想法，SB-1047更关注AI“在有限的人类监督、干预或监管下自主从事行为”。

为了防止这种直接来自科幻小说的情景，任何训练足够大模型的人都必须“实施能够立即进行全面关闭的能力”，并制定在何时启动此类关闭的政策，以及其他预防措施和测试。该法案还在某些时候关注如果由人类执行将需要“故意、鲁莽或重大疏忽”的AI行为，这暗示了一种在当今大型语言模型中不存在的代理能力。

杀手AI的攻击？

法案中的这种措辞可能反映了其最初起草者，AI安全中心（CAIS）联合创始人丹·亨德里克斯（Dan Hendrycks）的特殊恐惧。在2023年的《时代》杂志文章中，亨德里克斯提出了一个极端的存在论观点，认为“进化压力很可能会将行为根植于AI，以促进自我保护”并导致“作为地球上主导物种被取代的路径。”
如果亨德里克斯是对的，那么像SB-1047这样的立法似乎是一种常识性的预防措施——实际上，它可能还不够。包括AI名人杰弗里·辛顿（Geoffrey Hinton）和约书亚·本吉奥（Yoshua Bengio）在内的法案支持者同意亨德里克斯的观点，即该法案是防止高级AI系统可能造成的灾难性伤害的必要步骤。
“超越一定能力的AI系统可能对民主和公共安全构成实质性风险，”本吉奥在对法案的背书中写道。“因此，它们应该经过适当的测试，并接受适当的安全措施。这个法案为实现这一点提供了一种切实可行的方法，是我向立法者推荐的必备条件。”

然而，批评者认为，AI政策不应该由对未来系统的离奇恐惧所引导，这些系统更像科幻小说而不是当前技术。“SB-1047最初是由那些相信由有感知能力的机器导致世界末日的非营利组织起草的，比如丹·亨德里克斯的AI安全中心，”AI社区的重要声音丹尼尔·杰弗里斯（Daniel Jeffries）告诉Ars。“你不能从这个前提出发，创建一个理智、健全、‘轻触’的安全法案。”
“如果我们在这里看到任何寻求权力的行为，那不是AI系统，而是AI末日论者，”科技政策专家尼里特·韦斯-布拉特（Nirit Weiss-Blatt）补充道。“用他们虚构的恐惧，他们试图通过以虚构为主导的立法，根据众多AI专家和开源倡导者的说法，这可能会破坏加利福尼亚州和美国的技术优势。”

“开放权重”杀手？

你可能会认为，防范未来“杀手AI”的长期风险是一个合理的预防措施，即使这种风险极不可能发生。然而，一些专家认为，实施SB-1047的法规将对日常AI研究开发带来巨大成本。
在Ars的Understanding AI通讯中，Ars撰稿人蒂莫西·李（Timothy Lee）概述了SB-1047的语言如何可能严重阻碍所谓的“开放权重”AI模型的传播。这是因为该法案将使模型创建者对其原始培训基础上构建的“衍生”模型负有责任。
“像其他前沿AI开发者一样，Meta已经训练了它的Llama模型，以拒绝协助网络攻击、诈骗、制造炸弹和其他伤害的请求，”李写道。“但Meta可能无法阻止别人下载它的一个模型，并微调它以禁用这些限制。”
Meta的Yann LeCun强调了这一风险，在社交媒体上写道，“可耻的加利福尼亚法规SB1047……将基本上杀死开源AI，并显著减慢或停止AI创新。”
与其关注虚构的存在风险，一些AI专家认为，更有效的AI安全法规应该关注今天存在的AI的具体有害用途。前Google Brain创始人、斯坦福计算机科学教授、AI社区的重要人物安德鲁·吴（Andrew Ng）本月早些时候在详细的社交媒体帖子中写道，该法案“犯了一个根本性的错误，即规制AI技术而不是AI应用，因此将无法使AI真正更安全。”

在他的帖子中，吴提出了他认为会更有效的替代监管方法，例如“禁止非自愿的深度伪造色情、标准化水印和指纹识别以识别生成的内容，以及更多地投资于红队和其他安全研究。”
杰弗里斯也表达了这种情绪，他认为“我们需要完全废除该法案，专注于规制AI用例，而不是研究与开发。专注于限制AI的大规模监控或提高克隆你母亲的声音并骗取你5000美元的处罚。”
随着联邦层面规制AI的努力基本上停滞不前，像SB-1047这样的州级倡议变得更加重要。加利福尼亚如何处理这个复杂问题可能会为未来的AI规制工作树立先例，这使得这场辩论的利害关系对所有参与者来说尤其高。
随着法案在最终投票前接受进一步审议，AI行业仍然存在分歧。这场在加利福尼亚的立法斗争的结果可能对AI规制产生深远影响，不仅在该州，而且可能在全国范围内乃至更广泛。