超级对齐Superalignment

2023年7月，OpenAI宣布成立一个新的研究团队“超级对齐”(Superalignment)团队，旨在确保AI发展符合人类利益。计划未来4年投入20%算力，用AI监督AI的方式，解决超智能“AI对齐”问题。“AI对齐”的意思是，要求AI系统的目标要和人类的价值观与利益相一致。

近几年，随着AI技术迎来突破性进展，硅谷两个派别——EA（effective-altruism，有效利他主义）阵营和e/acc（有效加速主义）信徒的观念PK也日趋激烈。

EA和e/acc的对峙，其实仍是保守派与激进派之争在技术发展上的映射。前者认为包括AI在内的技术应该用来解决就业、疾病和贫困等社会问题。e/acc则相信技术进步无法阻止，伴随技术革新而至的是个美妙未来。

在AI领域，EA的代表性人物是「AI教父」、卷积神经网络理论领军人物杰弗里·辛顿（Geoffrey Hinton）。他曾多次对外警告，AI会毁灭人类。

伊尔亚·苏茨克维（Ilya Sutskever）正是辛顿的得意弟子，也是EA派新的扛旗者。

与伊尔亚·苏茨克维存有类似观点的，还有最初投票驱逐奥特曼的另两位OpenAI董事——塔莎·麦考利（Tasha McCauley）和海伦·托纳（Helen Toner），也都跟EA有关联。这其中，海伦·托纳就职过的机构大多由EA信徒资助，塔莎·麦考利信奉的便是EA，「美国版知乎」创始人亚当·迪安杰洛开发的类ChatGPT产品Poe，也隐约透露着EA主张。

塔莎·麦考利是一位技术高管，也是有效利他主义慈善机构——有效风险投资公司(Effective Ventures)的董事会成员，而海伦·托纳则是乔治城大学安全与新兴技术中心的高管，该中心得到了一个致力于有效利他主义事业的慈善机构的支持。熟悉内情的人士说，他们在董事会中占到了推翻奥特曼所需四票中的三票。

去年秋天的一天，数千个OpenAI徽标形状的回形针，被寄到了该公司位于旧金山的办公室。似乎没有人知道他们来自哪里，但每个人都知道他们的含义……

这个恶作剧据说是由OpenAI同城竞争对手Anthropic的一名员工干的，该公司本身就是由一群OpenAI出走的前员工创建，单飞的原因据说也是基于人工智能安全问题的分歧。

而很有意思的是，在伊尔亚·苏茨克维等人上周末最初逼走奥特曼后，第一时间爆出的消息——居然便是想要让OpenAI和Anthropic合并。

--2023-1127
source：
https://news.futunn.com/post/34557914?level=1&data_ticket=1701066494946541