Stuart Russell对话姚期智：为全人类设计AI系统，可以借鉴墨子「兼爱」思想丨2023智源大会AI安全与对齐论坛...

智源社区

于 2023-06-14 16:56:44 发布

阅读量412

点赞数

文章标签：人工智能大数据

本文链接：https://blog.csdn.net/BAAIBeijing/article/details/131218992

版权

加州大学伯克利分校的StuartRussell教授和图灵奖得主姚期智在AI安全与对齐论坛上讨论了如何设计对人类有益的AI，提出应参考墨子的“兼爱”思想，确保AI系统考虑到所有人的利益。他们还探讨了AI的目标设定、道德哲学问题以及如何管控AI技术，强调了避免AI产生有害内在目标的重要性。

摘要由CSDN通过智能技术生成

导读

在2023智源大会「AI安全与对齐论坛」的对话环节，加州大学伯克利分校教授Stuart Russell与图灵奖得主、中国科学院院士姚期智针对「如何设计对人类有益的AI」、「如何管控AI技术」，以及「LLM内在目标与意识」等话题进行了深度探讨，其中Stuart Russell教授在对话中提到了春秋战国时代墨子的“兼爱”思想，即做出道德决定应该充分考虑每位个体的利益。

Stuart Russell

加州伯克利分校教授，ACM Fellow、AAAI Fellow、AAAS Fellow。1995年荣获IJCAI Computers and Thought Award。他与Google研究总监Peter Norvig合著的《人工智能：一种现代的方法》是人工智能权威教材。2020年，他的新书《AI新生：破解人机共存密码——人类最后一个大问题》（Human Compatible：Artificial intelligence and The problem of control）在中国出版。

姚期智

世界著名计算机科学家，2000年图灵奖得主，2021年京都奖得主。中国科学院院士，美国科学院外籍院士，美国科学与艺术学院外籍院士，清华大学交叉信息研究院院长，清华学堂计算机科学实验班（姚班）首席教授，香港中文大学博文讲座教授。

以下为对话视频与全文：

如何设计对人类有益的AI，可以借鉴「墨子思想」

姚期智：你提出让通用人工智能（Artificial General Intelligence，AGI）更加安全的建议，如何实现这个想法？人和机器是不同物种，除非我们对自己非常了解，否则很难把控人机互动。而人类的想法不尽相同，如何防止人类制造过于强大的机器？我们是否该为了个人利益而牺牲其他人的利益？

机器可能试图改变人类的行为。如何协调人类的思想？我们想要什么？理想的世界应该是怎样的？我们并不一定有好好思考过这个问题。实际上，机器就像是无害的物种，只要人类提出要求，机器可以做任何事，因此最重要的是要明确人类的需求是什么。

Stuart Russell：我赞同你的说法。事实上，我们很难明确表达我们的目标。比如，虽然现在我们可以使用强化学习来训练，但是我们仍未表达出我们的目标。因此，模型也并没有学到何为目标。人类对未来有以下简单的偏好，假设有两部风格不同的电影A和B，人类可能会有明显的偏向性，更喜欢A或者更喜欢B。人类会对未来有一个隐性的选择偏好，有着自己的计算和内省能力。

事实上，我们在事件发生前就做好决定，或者有潜力去这样做。那么我们需要面对的问题是，机器是为