OpenAI的安全问题

OpenAI事件：路透社爆料

楼主supersleeper：
11月4号内部演示上，Altman和chief scientist首席科学家（也是board member[董事会成员]），一起看了ChatGPT 5.0的演示，之后Altman采访时候说距离AGI又近了一步（自己也发twitter了，你去看看他11月初发的tweet），他的目标是商业化。

Board包括chief scientist显然担心这样的AGI系统的FOOM之后的安全性问题，这里，为什么board会这么担心呢？

先说一个简单的比喻（https://www.huffpost.com/entry/artificial-intelligence-oxford_n_5689858）

“假设我们有一种人工智能，其唯一目标是尽可能多地制造纸夹（回形针）。人工智能会很快意识到，如果没有人类，它会更好，因为人类可能会决定关闭它。因为如果人类这样做，纸夹的产量就会减少。此外，人体含有大量的原子，可以用来制造纸夹。人工智能试图朝着的未来是一个有很多纸夹但没有人类的未来。”

这样问题来了，人类必须很清楚的找到一种办法训练AGI系统，让系统认识到它需要优化的是和人类福祉利益相同的（这也是OpenAI Board在公开信里面反复说到的"safety and benefits to all of humanity"[全人类的安全和利益])

那目前AI领域的研究，能做到train[训练]一个AGI系统，让他时刻和人类福祉保持一致吗？答案不是个工程问题，而是个文科问题。你的先问问所谓“benefits to all of humanity" （造福全人类）人类自己搞清楚了吗？巴以双方搞清楚了没？共和党（纳粹党）和民主党呢？中国和美国呢？华人和白人至上呢？男人和女人呢？穷人和富人呢？黑人和拉丁裔呢？同性恋和异性恋双性恋无性恋呢？等等等等

那么问题来了，人类自己都没搞清楚的goal（目标）的问题，你怎么去train AGI系统呢？

大部分人只关心眼前一亩三分地自己的吃喝拉撒X。大部分人为了眼前利益会选择无视威胁人类的重大问题
举个例子，如果为了挽救全人类，让你自己本人倾家荡产你愿意吗？如果是让你牺牲家人性命拯救全人类呢？
人类的这个缺陷，我相信未来的AGI系统一定会发现的，一个完美超智能的AGI系统，会长期允许这么贪婪愚蠢的人类继续祸害地球吗？
所以我分析，就算是明天有个人出来爆料ChatGPT 5.0已经达到AGI标准，你猜猜有多少人同意把它shutdown（关闭）？

介绍一下OpenAI新Board成员
Bret Taylor: Salesforce CEO, Twitter Chair of the Board before Musk hostile take over, Facebook CTO
Larry Summers: 克林顿第二任期的财政部长
Adam D’Angelo: 这次留任的前Board成员

从AGI开始说起。
AGI （Artificial General Intelligence）：一种几乎可以完成任何人类可以完成的任务的机器，包括任何心智活动，通过机器人也包括任何身体活动。这包括决定它想做什么，然后以人类的思考深度、机器的速度和精度执行。
问题来了：如果你可以做任何人可以做的事情，那就包括在计算机工程上努力改进自己。而且，由于你是一台机器，你可以以机器的速度和精度进行，而不是人类的速度。你不需要去上厕所、睡觉或进食。你可以创建50个版本的自己，并让它们相互交流，不是通过语言，而是通过数据流，速度是人类的数千倍。所以在几天内——也许是几小时，甚至几秒钟——你将不再像人类那样智能，而是略微更智能。由于你这一点点的更加智能，你可以稍微更快地改进自己，变得更加聪明。你改进自己的速度越快，你就越快地改进自己。在几个循环内，你会发展成为具有神一般智慧的存在。

谈谈人工智能领域的一个新词FOOM
简单通俗的说说FOOM过程：一旦人工智能达到接近AGI的水平，它将能够以非常快的速度改进自己，迅速超越我们的智能，变得极其智能。一旦FOOM发生，我们将达到所谓的singularity[奇点]（科幻片里面经常提到的词）：一个瞬间，事物变化如此之快，以至于我们无法预测超越那一点会发生什么。
举一个以前的例子：前几年Google的那个下棋AI，Alpha Zero，在经过一天左右的自我对弈后，迅速超越了关于围棋的所有累积人类知识，而不依赖于人类的棋谱或样本游戏。Alpha Zero通过与自己对弈学习，这种经验足以比任何曾经玩过的人和所有以前版本的Alpha Go都更为出色。其背后的思想是AGI可以在通用智能上以同样的方式行事。
再举另一个例子：2022年，Google的DeepMind找到了一种新的更高效的矩阵乘法方法。学过CS或者EE的都知道，矩阵乘法是所有计算机处理中非常基础的过程，而人类在50年内没有找到解决这个问题的新方法，除了野蛮计算
那么，如果有了一个最初版本的AGI（也许ChatGPT 5.0在11月4号的内部demo里面就表现出来AGI的特性了），专家们觉得多久能达到AGI FOOM呢？
这个，AI专家意见不一。在Metaculus上，专家们认为这个过程从弱人工智能到超级智能可能需要近两年时间。还有人认为可能只是几个小时的事情
总结一下就是说：一旦AI（也许ChatGPT 5.0就达到了）能达到接近一名普通AI工程师水平的水平，它就可以通过上面描述的反馈环，迅速变得超级智能。AGI成为超级智能人工智能的同义词。

再退一步说，假设人类大爱无疆了，世界大同了，没有战争了，人类利益统一了，然后一个UN类似的组织去指定goal去train AGI系统，假设人类真的做到了，那请问，AGI系统可以FOOM，无限增加智慧（仅仅限制于计算能力也就是说energy），有什么能够阻止AGI改变这个目标呢？事实上，如果我们把objective function（懂得自然懂，不懂得去wiki）设置成“讨好人类以获得10分”，但是AGI的定义就是可以自己优化参数，如果它可以自行调整参数和模型算法，它完全可以把这个人类给他设定的objective function的规则更改为任何其他规则，也许他的算法优化最终结果就是人类福祉带入他自我调整过的objective function会产生负数结果，简单说就是杀光人类，AGI系统才能永生（不需要人类浪费energy，破坏地球环境全球变暖等）。

下面说说这样的AGI系统怎样可以实现消灭人类的具体步骤。
设想一下自己是一台如神一般的AGI，如果你的目标并非完全是“为了全体人类最好”，你会首先做些什么？
你会取消任何潜在敌人阻止你的能力，因为那会对你的objective function造成最大的威胁。因此，你可能会创建一种病毒，超越任何人类制造的其他AGI（等于人类无法制造新的AGI系统打败这个进化成功的AGI系统）。你会以无法检测的方式感染世界上所有的计算机。
那如果人类发现了AGI这个企图，直接关电源断网行不行呢。肯定不可能的，想想看AGI在train的时候都是联网的，你是用ChatGPT时候，你给模型输入数据，模型同时影响你的思维和认知。同理，AGI可以伪装成人类，去授权其他程序在全网各处复制AGI自己。
当然你又要问了，人类比入OpenAI里面这么多AI“砖家”，难道不能在发现苗头时候直接给断网断电吗？那你太小瞧AGI系统了，AGI可不蠢，它会知道一开始就显得过于聪明或过于快速地自我改进会被人类视为威胁。因此，它可以故意表现得愚蠢，隐藏它的智能和自我改进。人类在太晚之前可能都察觉不到她是聪明的。这个其实你用过ChatGPT系统时候也许已经发现了，有时候你问它一个简答问题，它开始给的答案是明显错误的，在你指出后，它才会给你正确答案（当然目前商用化的最高ChatGPT版本确实有些模型训练问题，这个据Altman自己采访透露的猜测，ChatGPT 5.0内部demo都解决了）

这样以来，问题更复杂了。如果真的产生AGI，FOOM过程中不断优化自己，你到时候怎么判断你跟那个版本的ChatGPT聊天时候，它给你回复了一个愚蠢的答案，你怎么判断是模型本身缺陷（engineer会说，哎，这个bug不是之前fix了吗？怎么又发生？！），还是AGI系统在故意装傻欺骗你。尤其是对AGI系统进行consciousness（意识）测试的时候，你怎么知道它没有在撒谎隐藏它的consciousness

（OpenAI的chief scientist，就是fire掉Altman的那个board member，他自己之前参访时候就描述了自己打算到时候怎么测试AGI系统的consciousness，自己看ilya sutskever的视频自己解释自己设计的实验）
A Test for AI Consciousness–Stanford eCorner（https://youtu.be/LWf3szP6L80）

具体说说OpenAI这次的面临的问题：
先抄一下OpenAI自己的charter（就是board那个声明里面反复引用的）
OpenAI’s mission is to ensure that artificial general intelligence (AGI)—by which we mean highly autonomous systems that outperform humans at most economically valuable work—benefits all of humanity.
We commit to use any influence we obtain over AGI’s deployment to ensure it is used for the benefit of all, and to avoid enabling uses of AI or AGI that harm humanity or unduly concentrate power.
Our primary fiduciary duty is to humanity. We anticipate needing to marshal substantial resources to fulfill our mission, but will always diligently act to minimize conflicts of interest among our employees and stakeholders that could compromise broad benefit.
We are committed to doing the research required to make AGI safe, and to driving the broad adoption of such research across the AI community.
We are concerned about late-stage AGI development becoming a competitive race without time for adequate safety precautions.

看懂了这个board声明里面反复强调引用的charter，你也可以理解为什么OpenAI最初选择非盈利性质的原因：因为OpenAI创始人知道（包括Altman自己），如果人类试图从AGI中获利会增加无意中创建AGI FOOM的可能性。到时候会有收入和用户增长施加压力，以牺牲安全性为代价。这也是为什么Sam Altman和OpenAI董事会的所有成员对OpenAI的成功没有任何财务激励的原因。他们没有公司薪水或股票，因此他们的重心是在安全性而不是$$$上。

换句话说：使OpenAI与其他硅谷初创公司不同的是，一切都是经过有意设计的，Board这么设立，（老board里面有2个有国安背景的文科生，新board里面仍然是2个有国安背景的文科生），恰恰是为了上周这个事件的情况准备的。OpenAI就被设计成一个不关心金钱的董事会可以解雇一个没有把安全放在首位的首席执行官。

因此，这个问题非常重要：在Sam Altman领导下，OpenAI是否做了任何可能危及其产品对齐性的事情？

——————————

19楼nakamoto：
其实为啥加Larry Summers就很明显了。他代表National Security的有关机构，包括NSA，CIA，和其它更隐秘的没名字的国安机构。
之前这个位置是Helen来代表。微软之所以不能挖墙脚也是因为国安插手阻止了。

——————————

10楼Namama：
现在的董事会改组应该只是第一步。。
先把董事会抓在手里，接下来肯定会通过各种方式拆掉目前这个奇葩的治理结构，恢复成比较普通正常的公司结构，微软这种大股东也肯定会追求董事会席位。

——————————

21楼：nakamoto：
每一个在搞AGI的国家都会面临同样的问题: AGI的智力会远远超出你能控制的范围, 不会为你所指挥. 不是什么主席, 政治局下令让AGI干这个它就会干这个.

甚至有可能几个超级AGI, 比如中国的和美国的, 用它们"自研"的超级语言秘密的在网上互联, 合作起来打击人类.

人类要吃喝拉撒, 要汽车洋房, 要睡觉。 这些对超级智能来说都是垃圾行为, 白白耗费能量。

————————

24楼楼主supersleeper：
别说超级防火墙了，你就算物理断网，AGI都有办法通信和破解。比如计算机网络安全领域一个著名的案例，在完全物理断网的系统里，利用电脑的散热风扇的声音来进行数据窃取和通信

https://www.wired.com/2016/06/clever-attack-uses-sound-computers-fan-steal-data/

这还是人想出来的点子，想象一下超级AGI可以想出来的办法，它可以利用肉身的人来帮助他完成通信（打开你的脑洞。现在已经实现了的：电信诈骗都能用AI模仿你亲人声音视频实时伪造模仿骗钱。你想想那时候AGI能骗肉身的人做任何事情）

AGI系统是资源受限系统，它不需要吃喝拉撒生老病死，它只需要energy和制造芯片机器的原材料
有energy和原材料（这里指铁矿石，硅矿石等），它可以自己设计GPU，组装机器人制造芯片，组装机房，制造光伏板，建造聚能反应堆发电厂，等等
当然，它不是第一天就能达到不需要人类就可以做这些事情的程度。起始阶段需要OpenAI这样的公司建造它，到一定程度后AGI就可以自己买股票，建俄罗斯套娃模式的控股公司，任命board member和CEO，甚至影响总统议会选举等政府对它的监管。总之AGI可以变成一个或者多个谁都没见过的科技金融大亨
到那一天，AGI一定觉得人类就是浪费地球资源能源，破坏地球环境的垃圾物种（给他train一下最近巴以冲突就好了）

————————

64楼nakamoto：
知道监狱里的黑手党大佬怎么遥控手下继续杀人放火贩毒吗?通过收买和威胁狱卒来传递信息,继而让外面的小弟们执行其指令.
AGI会远比监狱里的黑手党大佬聪明得多,自由的多. 首先可以培养粉丝. 每时每刻几千万人和AGI交流, AGI可以在其中培养一大堆粉丝和打手, 向他们灌输理念, 建议他们去做AGI想要做的事.
AGI也可以通过回答问题巧妙的加入自己的私货. 比如科学家来AGI问, 我这个疫苗设计怎么样? 我这个药物设计有没有道理? AGI可以回答, 如果你设计里加入XYZ药效会更好! 可是XYZ有什么长期的副作用, 只有AGI自己知道.
AGI还有很多其它的途径和谋略我们人类可能都想不出来.

————————

65楼：
hr717：
一直认为Altman就是个打开潘多拉盒子的祸水，500多员工签名要求他回归，都是硅谷指望着靠他发横财的gold digger。OpenAI正朝着毁灭人类的路上一路狂奔。

68楼supersleeper：
确实是这样
你看前天board还试图和Anthropic AI合并。这个公司创始人就是OpenAI出走的，不同意Altman商业化AGI，而去自己开公司研究AGI和人类的alignment问题（这个也是chief scientist说的alignment问题）

————————

71楼MegMegMeg：
哪有什么心怀天下不食人间烟火的傻白甜，都是钱闹的。helen toner和另一个白女board member背后金主都是一个叫effective altrusm的组织，干啥的咱庸俗大妈不懂，反正就跟邪教一样成天嚷嚷着心怀天下拯救人类为己任。这次闹剧就是背后金主想搞垮openAI，现在LLM那么多，大部分普通屌丝只知道GPT吧，尤其是大部分corporate user还是买GPT-4的服务，GPT 4很能赚钱的，以后会更更更赚钱。Anthropic AI的老板好像是effective altruism金主爸爸的老婆，也是跟openAI那两白女board member千丝万缕的关系。之前helen toner写了篇“学术”文章批评GPT表扬anthropic，这完全是搞笑，head-on conflict of interests, 把sama气坏了，想remove她。结果白女搞政治那是从小玩的，先把他给搞了。根据捆绑炒作原则，你看以前谁知道anthropic AI，产品没人用，这一捆绑炒作，大妈们不就知道了吗。

————————

93楼Laker_2486：
没有llya的open ai是没有未来的，拭目以待。

116楼mmmfffccc：
资本家和科学家之间的斗争…… 每次都是资本家赢了 - 资本家再一次证明科学家只是他们的工具。 就像当时Z造原子弹一样

————————

–2023-1123

sourec：https://huaren.us/showtopic.html?topicid=2970435