英国《金融时报》专访张宏江：AI系统永远不应该欺骗人类

2024北京智源大会前夕，英国《金融时报》记者Ryan McMorrow与Nian Liu对智源学术顾问委员会主任张宏江进行了专访。采访内容刊登于6月27日的时报。为方便阅读，我们对内容进行了编译（英文版全文请点击“阅读原文”）。‍

---

张宏江是计算机科学家和企业家，他也是中国最直言不讳地主张安全开发人工智能技术的重要人士之一。 

在丹麦获得博士学位后，他在新加坡和加利福尼亚州帕洛阿尔托工作了几年。21世纪初到中国，帮助建立了微软亚洲研究院，之后又将金山打造成为中国领先的软件公司之一。

2018年，张宏江重返科技前线，作为创始理事长，发起成立了北京智源人工智能研究院（BAAI）——一家将学术与产业紧密联系的非营利性机构。近年来，他是中国发展AI安全的主要倡导者，以确保AI技术不会对人类构成威胁。近日，张宏江接受英国《金融时报》采访，讨论了国际合作对AI安全的重要性，以及中国AI技术面临的机遇与挑战等话题。

FT：你为何尤其关注人工智能安全？

张宏江：我花了很多时间试图提高学术、产业和各界的认识，即我们的注意力不应该只放在已经意识到的人工智能潜在风险上，比如假新闻、偏见和错误信息。这些都是人工智能的滥用。

更大的潜在风险是生存风险——我们如何设计和控制未来更强大的人工智能系统，以使其不会逃脱人类的控制？

3月，我们在“北京AI安全国际对话”上制定了生存风险的定义，其中最有意义的是划定的红线（编者注：详情可访问 https://idais-beijing.baai.ac.cn ）。

例如：人工智能系统永远不应该自我复制和改进。这条红线非常重要。当系统有能力自我复制、自我改进时，它就会失控。其次是欺骗，人工智能系统不应该具有欺骗人类的能力。

另一个显而易见的原则是，人工智能系统不应该具备生产大规模杀伤性武器和化学武器的能力。此外，任何人工智能系统都不能采取不当地增加其权力和影响力的行动。

全球研究界必须共同努力，然后呼吁全球各国政府共同努力，因为这不仅仅是针对某个国家的风险，而是针对全人类的巨大风险。

去年 10 月，我在英国举行的人工智能安全国际对话上学到了很多东西。这实际上是一个自下而上的工作系统。这是技术工作，不仅仅是政策工作。

我意识到，在欧洲和美国——尤其是在欧洲——一些技术人员已经在该领域工作多年，并且开发了不少系统来衡量和定义人工智能系统的风险。英国发挥了巨大主动作用，就像他们在去年的首届AI安全峰会上所做的那样。

FT：在参与这些讨论时，中国顶尖科学家和政策制定者的观点是否与西方相似？

张宏江：非常相同。争论的焦点在于当前的人工智能系统是否真的具备通用人工智能 (AGI) 能力，或者它们是否会导致AGI，以及距离有多远。但是，如果你同意存在风险，那么观点上其实没有太大差异。

Geoffrey Hinton的研究表明，数字系统的学习速度比生物系统快，这意味着人工智能的学习速度比人类快——有朝一日必定会超越人类智能。如果你相信这一点，那么这只是时间问题。你最好开始做点什么。如果你考虑到潜在的风险，比如有许多物种已经灭绝，那么最好为此做准备，希望能防止类似的情况发生。

科学合作应该是一种常见的做法，然而不幸的是，这并非现状。当然，人工智能是最先进的技术，因此变得敏感。特别是在中国和美国之间，地缘政治确实会影响这些合作。我希望，至少在科学层面，这种合作能够继续下去。

FT：在未来的多模态环境中，计算能力是否会变得更加关键？人形机器人和视觉模型是否比纯语言处理需要更多的计算能力？

张宏江：是的。视觉数据，包括图像和视频数据，对计算能力的需求比语言数据大得多。

FT：如果计算能力是发展AI的制约，中国的优势在哪里？政策、人才还是其他？

张宏江：当谈论中国在人工智能方面的优势时，政策往往是我们最后才想到的。我认为中国在人工智能方面的优势主要在于年轻的企业家，他们即使经历一次又一次的失望，但仍然继续创业，追求自己的梦想。我认为唯一可以一较高下的地方是硅谷。

有人给过我一个数字，我相信FT能找到更准确的数字：全球顶尖人工智能人才中，有30%最初出生在中国，但其中很大一部分在美国工作。如果10%的顶尖人才留在中国，那也代表了相当多的人。

除此之外，还有广阔的市场。人工智能的应用场景非常多，这反过来又提供了很好的研究课题和研究数据。这使得研究机构和大学能够研究好的问题。

所以我觉得人才、应用场景、创业精神是中国的优势。

FT：那数据呢？曾有其他中国专家指出，中国所拥有的数据，这将是一个巨大的优势。

张宏江：中国是一个巨大的互联网市场，因此中国过去拥有大量数据，这是一大优势。但是，当我们查看GPT模型，查看输入模型的数据以及数据分布时，我们意识到它们来自网络。如果你查看网络，就会发现中国的语料库并不多。只有个位数。不到 5%。

而英语占了 60% 或 70%，所以主要是英语。所以，如果你用网上的数据训练模型，中文就没那么多了。无论哪种语言，数据更多表现都会更好。你也可以看看维基百科，在它的数据中，中文也并不占主导地位。所以我不会说，就语言数据而言，中国有优势。

不过，当我们谈到具身智能、机器人技术和制造业时，中国确实拥有大量数据，远超其他国家。 例如，智慧城市模型，中国的数据比任何其他国家都多。看看具备基本自动驾驶能力的电动汽车的数量。所以这个问题这取决于你谈论的是哪个领域。

FT：人形机器人的下一代视觉模型是否才刚刚起步？

张宏江：在过去的18个月里，这个话题变得非常热门，尤其是随着GPT-4模型的发展，在识别图像和图像中的物体方面具有令人印象深刻的能力。而且，如果你看看Sora、Gemini 1.5，以及Anthropic的Claude，还有新的Llama 3，它们都展示了这种多模态能力——基本上就是图像能力。

如果你给机器人配备一个大型多模态模型，它可以执行远超其训练范围的任务。还会理解那些它原本未经过训练的命令。突然间，你会发现机器人能够理解的东西比你想象的要多得多。

一个很好的例子是谷歌大约一年前发布的RT2。比如，当你要求机器人去拿桌子上的一个玩具，而这个玩具是一种已经灭绝的动物时，它会拿起一只恐龙。这是一个非常复杂的推理过程，因为它并没有被直接告知恐龙是一种灭绝的动物，但语言模型知道这一点。所以，在各种动物玩具中，它会拿起恐龙。

另一个例子是：“给Taylor Swift一罐可乐。”桌子上有四个相框。机器人拿起一罐可乐，放在Taylor Swift的照片上。想想这个过程。机器人可以识别出照片里的人是谁。它知道Taylor Swift是谁。这并没有被训练到语言模型中。

这就是为什么你会看到 Figure，一家与 OpenAI 合作的新机器人初创公司，OpenAI 对其进行了投资。你会看到另一家来自伯克利的初创公司：Pi，还有很多这样的公司。

FT：那么在中国呢？

张宏江：智源研究院孵化的银河通用机器人是一个例子。在我看到的最新演示中，当你说“我渴了”时，机械臂会在五种不同的东西中挑选一瓶水并把它送到你面前。这就是你想要和期待一个好保姆能做的事情。机器人的指令不再非常明确。机器人自己会理解。现在有不少公司正在朝这个方向发展。

FT：和全球公司一样，很多中国公司也在使用Llama作为其模型，情况是这样吗？

张宏江：Llama 模型是开源世界中最强大、最受欢迎的大型语言模型。因此，我相信很多人和公司都会使用它们。而且，对于主要关注学术界的人来说，拥有一个可以分析、调整和研究的开源模型非常有帮助，因为从头开始训练大型语言模型的成本非常高。

同样，你可以将其类比为软件，Linux 和开源变得非常流行。并且有许多开源数据库非常流行。我想说，互联网公司完全依赖于这些开源数据库和系统。它们帮助加速了互联网和云计算的发展。中国肯定从中受益匪浅。

FT：这引发了开源与闭源之争。百度的李彦宏最近表示“开源模式会越来越落后”，保持闭源模式对于建立可行的商业模式至关重要。你怎么看？

张宏江：我并不完全同意他的观点。但这种争论一直存在，可以追溯到 30 年前。当时是闭源的 Windows 和 Mac 与 Linux 的对决，后来是闭源的 iOS 与开源的 Android 的对决。尽管 Android 是开源的，但它被一家公司牢牢控制。所以，这种争论一直存在。

如果你看看商业世界，领导者往往不喜欢开源，因为他们是各自领域的领导者。与此同时，追随者和其他试图改变事物的人通常会采用开源方法。Linux 做到了，Android 也做到了，而且两者都非常成功。所以我不会说哪一个有绝对的优势。我们需要很长时间才能知道哪一个会获胜。但更有可能的是，它们将共存。

FT：中国一直非常擅长应用和商业化。能谈谈您在这里看到的一些有趣的人工智能应用吗？

张宏江：有两家公司做得很好。一家是总部位于北京的 Moonshot（月之暗面），这家企业与智源也有一些渊源。他们的产品Kimi非常受欢迎。

另一家是上海的Minimax。他们在ChatGPT发布前至少一年就开始着手构建大模型，因此他们并不是跟随者。他们专注于数字化身之类的应用。

如果你在其他市场看到任何好的应用，中国很快就会拥有，如果还没有的话。中国并不只是跟随，在某些领域，时不时会领先。

FT：在西方，所有这些 AI 初创公司都在以极高的估值筹集大量资金。中国的情况也一样吗？

张宏江：是的，中国也一样。唯一的区别是，中国在某个领域有更多的公司——我认为可能太多了。美国可能有三四家初创公司专注于基础模型，中国有多少家？数百家。

所以，中国市场太“卷”了。这不是什么新鲜事，过去 20 年来一直如此。至于泡沫，我不认为中国比美国泡沫更大。目前这些泡沫仍然是好的。会有赢家，我认为不久之后就会出现整合。

FT：所有这些基础模式的商业模式将会是什么？大型科技公司，还是更灵活的初创企业？

张宏江：在美国，这一点非常明显：企业生产力工具。我们已经看到了微软Office 中Copilot等工具的效果。然而，对于消费者应用，人们仍在探索。我们还没有看到巨大的成功。中国肯定有更多人在探索这个领域。

大型科技巨头必须涉足AI模型，否则它们就不再是一家平台公司了。它们要么开发大型模型，要么收购它们。因此，毫无疑问，它们将继续投资。

对于小型创业公司来说，他们面临的挑战不仅仅是筹集足够的资金和开发良好的模式，还包括定义他们的商业模式和找到他们的用户。我提到的两家公司 Minimax 和 Moonshot 从一开始就专注于消费者。在中国，无论哪家创业公司在消费者领域取得成功，最终都会成功——尽管面临来自巨头的巨大压力。

FT：从智源研究院理事长的岗位卸任后，目前你的时间主要花在哪些事情上？

张宏江：我对大AI模型将如何改变我们进行机器人技术的方式感到非常兴奋，并且相信这会给机器人技术带来突破，这真的很令人激动。此外，我觉得中国在这方面有一些优势。中国拥有全球最大的制造基地，在硬件方面比许多其他国家更为先进。这是我感兴趣的地方。

我的动力很大一部分来自好奇心。这让我感到兴奋，也让我觉得自己可以从中学到东西。此外，我待在海外的时间也更多了。我在新加坡参加一些会议和活动。我也想在硅谷待更多时间，以便与那里保持更多联系。

我仍在参与组织“北京智源大会”。这是纯技术性的会议，整个会议由在该领域积极工作的技术人员组织，重点关注人工智能的各个方面。人们来这里学习和交流想法，就像参加任何学术会议一样。这不是商业性的。 

让人们聚在一起学习和交流思想是很有价值的。去年我们邀请了Hinton、LeCun、Altman，还有中国科学家与他们进行交流和讨论。

- 推荐阅读 -

Llama2、3作者中国首讲！LLM前世今生，AGI是我们这代人的哥白尼革命

GPT-4o、SAM、DiT、DCN、SegGPT作者共话多模态模型前沿进展

Sora团队负责人Aditya Ramesh对话谢赛宁丨压缩一切！视觉与语言模态的融合