读十堂极简人工智能课笔记08_人工智能的未来

1. 通用人工智能

1.1. 我造不出的东西，我便不明白

1.1.1. 物理学家理查德·费曼

1.2. 欧文·霍兰德

1.2.1. 他的发明中有一个很不寻常的机器人叫作Slugbot，这是一个能“吃”真正的鼻涕虫的机器人，旨在用鼻涕虫腐烂的身体产生动力

1.2.2. 其团队造出了CRONOS，一个看起来相当可怕的人形机器人，头部有一只独眼，其解剖结构尽可能地符合人类的骨架

1.2.2.1. 其骨头是用塑料生产的，结构相当精巧，足以匹配人类的骨骼

1.2.3. 方法是模仿自然，其模仿的深入程度远胜前人在机器人领域的种种尝试

1.2.4. 所谓意识就是要让机器人对外部世界形成自己的内部模型，这尽管是它自己想象中的现实，却应该包括一套自身的模型

1.3. 自我意识也许才是走向人工意识觉醒的第一步

1.3.1. 当机器人开始觉得想象中的自己比现实中的自己更重要时，它的意识就觉醒了

1.3.2. 让计算机发展出更为出色的自我意识，而这种雄心壮志可以提高人工智能了解自己和自身行动的能力

1.4. 有意识的人工智能并不一定意味着有用的人工智能

1.5. 我们的众多人工智能里没有什么通才

1.5.1. 它们几乎无一例外都是专家

1.5.2. 是非常狭窄领域的专家

1.6. 开发具有狭窄专业知识的人工智能更高效、更实用

1.6.1. “通用人工智能”便是研究人员用来描述这种更强大的人工智能的术语

2. 模拟大脑

2.1. 美国的大脑计划

2.1.1. 始于2013年

2.1.2. 由奥巴马政府资助

2.1.3. 目的是通过先进的扫描和建模技术来推进神经科学以及对大脑疾病的理解

2.2. SpiNNaker

2.2.1. 英国计算机先驱史蒂夫·弗伯的心血结晶

2.2.2. 创造出来的一种全新计算机架构

2.2.2.1. 其灵感来自人脑

2.2.2.2. 如今被用于神经科学、机器人和计算机科学

2.2.3. 由一组专门模拟尖峰神经元的处理器组成

2.2.3.1. 每个处理器又由18个较小的处理器组成

2.2.3.1.1. 16个用于模拟神经元

2.2.3.1.2. 1个用于管理

2.2.3.1.3. 1个备用

2.2.3.2. 其巧妙的设计确保它们能与邻近芯片上的同伴超高速通信

2.3. 尖峰神经网络

2.3.1. 与生物神经元具有更多的相似性

2.3.2. 尖峰神经元被输入的尖峰激活时，会彼此发射一串尖峰，将信息编码成随时间推移的二进制开/关信号

2.3.2.1. 意味着尖峰神经网络与传统的人工神经网络相比，可能更适合处理随时间变化的问题

2.3.3. 尖峰神经网络需要繁重的计算来模拟真实的神经元

2.3.3.1. 需要SpiNNaker等专用硬件

2.3.4. 科学家目前也不清楚如何让它们学习，因为传统的反向传播法在这里并不适用

2.4. 朱利安·米勒开创了被称为笛卡尔遗传编程的进化方法，让计算机得以改进其电子电路

2.4.1. 大多数神经网络是为解决单一任务而训练的，在用于解决其他任务之前必须重新训练，而米勒创造出的人工大脑可以从少量的例子中学会解决多种任务

2.4.2. 在他手中进化出来的神经网络会在学习过程中改变神经元的数量，并将同一神经元重复用于不同的问题

3. Transformer架构

3.1. Transformer架构可以算是近十年来神经网络技术的最大突破，自2017年发表以来已迅速获得越来越广泛的应用

3.2. 可能会成为一统人工智能大部分领域的方法

3.2.1. 更擅长在很长的一个输入序列里找到和记住相距很远的两个单元之间的联系

3.2.2. 还允许大规模并行的训练

3.3. DeepMind团队开发的GATO模型，既能打游戏，又能聊天，还能用机械臂搭积木，其底层用的也是Transformer架构的神经网络，这是一个值得关注的努力方向

4. LaMDA

4.1. 一个用1.56万亿个单词的语料库（包括公开的对话和一般网络文本）训练出来的神经网络

4.2. 拥有1370亿组参数，能从海量的文本中总结出语言的许多深层结构

4.3. 属于现在比较常见的基于Transformer架构的大语言模型

4.4. 由于资源限制，这个系统只能记得相当于过去几千个单词的对话，如果对话更长的话，它就容易忘记更早的前文

4.5. 如果是三位数以内的加减乘除，那它们都能答对

4.5.1. 可能是因为语料库里本来就有这些问题的现成答案

4.6. 要求计算的位数越多，它们回答的准确率就越低

4.6.1. 可能反映出这些语言模型虽然掌握了语言的一些深层结构，擅长纯文字的对话，也能做一些推理

4.6.2. 并没有真正掌握四则运算的规则

4.7. 其实这些大语言模型很可能已经可以通过传统意义上的图灵测试了

4.7.1. 普通人类能进行的对话，它们也能进行

4.7.2. 它们答不上来的东西，很多普通人类也答不上来

4.7.3. 就算通过了图灵测试，它们显然也并没有自主意识

4.8. 大语言模型能够在大量训练素材中学习到深层的语言结构

4.8.1. 似乎能在相距很远的不同事物间建立联系

4.8.2. 第一种是对我们没有实际意义的联系

4.8.2.1. 往往体现在会话的时候，大语言模型会一本正经地捏造事实、张冠李戴

4.8.2.2. 我们要从别的途径确认模型说的到底对不对

4.8.3. 第二种是对我们有实际意义，而且我们事先知道的联系

4.8.3.1. 我们往往想不到大语言模型也能发现这种联系，跟它会话的时候会被吓一跳

4.8.4. 第三种是有实际意义，但是我们此前不知道的联系

4.8.4.1. 这种联系可以帮助我们发现新知识，产生新创意

5. DALLE-2模型

5.1. OpenAI实验室的DALLE-2模型能根据一两句话的提示生成各种以前不存在的图片

5.1.1. 莫奈风格的画：狐狸坐在日升的田野里

5.1.2. 宇航员骑马，像照片一样真实的风格

5.1.3. 拥有令人惊艳的效果

5.2. 区分不了“宇航员骑马”和“马骑宇航员”这两句话

5.2.1. 输出的都是“宇航员骑马”的图片

6. Imagen模型

6.1. 谷歌发布的Imagen模型能根据语言提示来生成以前不存在的图片，并且输出的图片比DALLE-2看起来更真实，对语言的理解也更准确

6.1.1. 背后的原因也许是模型的训练集更大

6.2. 区分不了“宇航员骑马”和“马骑宇航员”这两句话

6.2.1. 输出的都是“宇航员骑马”的图片

7. PaLM模型

7.1. 谷歌发布的PaLM模型能解释笑话

7.1.1. 靠的是5400亿参数的神经网络从海量文本中学习到的一些深层语言结构

7.2. 许多笑话的笑点在于特定词汇的双关性

7.2.1. 普通人没法了解所有领域的双关词，有时面对笑话会不知道笑点在哪里

8. 人工智能的未来

8.1. 人工智能技术的发展得益于计算能力的增长，以及新近出现的大量数据集可以用来训练机器学习算法

8.2. 人工智能的进步总是源于算法的发展，而非处理器的加速

8.2.1. 每种算法都提供了令人兴奋的新可能性

8.2.2. 没有一种算法可以解决所有问题

8.2.3. 新的问题需要新的算法来解决

8.2.3.1. 执行的各种不同任务会利用大脑的不同区域一样

8.3. 人工智能冬天会出现，是由于算法无法匹配热切的炒作，从而引起巨大的失望

8.4. 创新的步伐受限于我们创造新算法的能力，以及我们理解智能本质的能力

8.5. 不能指望指数级增长能带来什么好处

8.5.1. 事实证明，虽然可能存在指数级增长，但它几乎肯定对我们不利

8.6. 越复杂的能力意味着越缓慢、越困难的进步

8.6.1. 越接近光速，我们就需要越多的能量来加速

8.6.2. 提高智力的能力变得越来越困难。地球上很少有生物拥有像我们一样复杂的大脑，它经过35亿年的进化测试才创造出如今存在于世的几种设计，这可能并不是巧合

8.7. 未来不会有奇点，也不会有失控的人工智能

8.7.1. 我们有可能永远实现不了像人脑一样先进的人工智能

8.7.2. 就算能做到，也可能需要假以地质学尺度的时间

8.8. 致力于为具体问题寻找专门的解决方案

8.8.1. 新的聊天机器人会接管客服中心的普通查询

8.8.2. 新的无人驾驶算法会协助我们在高速公路上开车，或帮我们停车

8.8.3. 先进的工业机器人将令枯燥的生产过程进一步自动化

8.8.4. 故障检测系统会确保我们的工厂生产出合格的产品

8.8.5. 可穿戴智能设备会更早地检测出健康状况的异常

8.8.6. 社交机器人会为老年人或弱势群体提供慰藉和照顾

8.8.7. 互联网机器人能回答我们的语言提问

8.8.8. 防诈骗检测系统会监测我们的交易，并在我们的银行或身份信息可能被盗时提醒我们

8.9. 每一种新技术都需要新的工作人员去创造它、设置它、测试它、监管它、使用它、修复它

8.10. 我们每采用一项新发明，都会改变人们的生活方式和工作方式

8.10.1. 旧的专门手艺会过时，同时新的专业知识会出现

8.10.2. 今天铁匠很少，但工人很多

8.10.3. 明天可能工人会减少，但会有许多机器人管理员和维护工程师

8.10.4. 无人驾驶汽车将需要一套新的道路基础设施和新的销售和维护方式

8.10.5. 游戏行业正在蓬勃发展，需要从计算机模拟专家到作家、演员的各种人才

8.10.6. 数据存储和分析（事实上是所有与数据有关的业务）正在蓬勃发展，每天都能发明出新的工作岗位

8.10.7. 社交媒体会成为新的广告渠道，创造出新的工作和职业

8.11. 另一种看法

8.11.1. 这次人工智能革命来得太快了，人们学习新技能的速度越来越赶不上工作被机器取代的速度

8.11.2. 加上现在人类的平均寿命比历史上任何时期都长很多，人们需要养活自己的时间也比以前长很多，因此长时间无工可打的境遇会比以前更悲惨

8.12. 许多研究项目如果不成功的话，并不会公开发表，真正公开发表出来的模型只是冰山一角

8.13. 实际上，人工智能近年的许多进展都是实践先行，理论滞后的

8.13.1. 先有人试出来这么做效果好

8.13.2. 大家重复试验之后确认效果好

8.13.3. 但没人知道背后的数学机制

8.13.3.1. GPT-3有个参数是“温度”，取值0.8时效果最好，没人知道为什么

8.13.3.2. DALLE-2和Imagen之类根据文字提示生成图像的系统，底层采用了一种“扩散模型”

8.13.3.2.1. 但“扩散模型”为什么能有这么好的效果，目前也没有公认的精确解释

8.13.4. 然后可能有人会去探究，试图给出解释

8.14. 有迹象表明，在许多种不同任务中，模型越大表现就越好

8.14.1. 堆机器和堆数据就可能训练出高质量大模型的时代

8.14.1.1. 在一些资源雄厚的机构之间引发了“军备竞赛”，它们训练出来的模型越来越大，效果也越来越好

8.14.2. 我们还没有撞上曾有人预测的、投入再多资源也见不到明显改进的那堵墙

8.14.2.1. 至于那堵墙会不会在将来某个时刻冒出来，挡住所有人工智能的进展，就像前几次人工智能的寒冬一样，我们现在还不清楚

8.15. 已经有许多人在研究估算负面影响的程度，并探索怎样防范负面影响

8.15.1. 希望最终能借此避免系统不择手段的做法

8.15.2. 跟市场另一角落，同样在近年造成巨大的电力需求和环境影响的加密货币比起来，这些人工智能的学习训练至少是在尝试推动社会进步，做对社会有益的事

8.15.3. 需要正视其可能的有害影响，尽量想办法优化资源，减少负面影响，不能因为别的领域在胡作非为，在这个领域也就心安理得跟着胡作非为

8.16. 在我们发明的各种技术中，人工智能的独特之处在于，开发它的过程能教会我们关于大脑和身体如何运作的深刻道理

8.16.1. 只有当我们能完全搞清楚人脑的发育学习是怎样从少量实例中掌握那些规则然后广泛应用，并在计算机中模拟类似的过程时，我们才能实现进一步的突破

8.16.2. 环境会改变我们，正如我们也会改变环境一样

8.16.2.1. 人工智能是一趟持续的发现之旅。这条漫长而艰难的道路也许能教会我们成为更好的人

9. 编外：按帧生成连续的图片并且展示——Sora