机器学习碰撞认知神经科学

机器学习碰撞认知神经科学

B站视频链接
文字简化版（机器之心）

GPT-3与人的认知

• GPT-3 wikipedia 一种自动回归语言模型 GPT-3(Generative Pre-trained Transformer 3)
• GPT-3与人脑思维方式的区别：蜘蛛有几只眼睛？树叶有几只眼睛？问人或者问GPT-3。GPT-3基于概率上的链接，并不知道什么是眼睛，不能够理解。人类是基于对物的理解。
• 知识图谱与深度学习的结合：可以更像大脑的运作方式。但仍然是有限制的，在推理上与人类相比存在差距。自闭症：缺失对他人的心理的模型建立，缺乏感同身受，造成社交困难。更加复杂的推理。
• 进步的方向：更加复杂，通用AI，更加开放的环境。需要构造一套新的因果关系推理系统。深度学习：建立在学习关系上；人类：因果关系推理。

System1&System2

• Yoshua Bengio|Form System 1 Deep Learning to System 2 Deep Learning | NeurlPS 2019 (YouTube) Yoshua Bengio，2018图灵奖得主，花书(Deep Learning)作者。System 1（目前的深度学习）：直观知识、快速的、无意识的、非语言的、习惯性的；System2（未来的深度学习）：慢的、有逻辑的、作为结果产生的、有意识的、有语言能力的、算法的、有计划的、有理由的。
• 对人类来说，System1:本能；System2:理解

大脑如何处理视觉信息

• 大脑分区，不同的区处理的东西不一样。先将真实世界在大脑中还原成本地的元素，之后依靠不同的分区一点点处理。
• 单细胞记录

两种遗忘&神经元连接的修建

• 遗忘：部分是真的被遗忘；记忆存在于突触连接。

记忆的提取&神经元数目

• 遗忘：东西还在，找不到合适的方法来提取记忆。
• 人与人的神经元数量不同，但神经元数量不决定IQ，而是神经元之间的连接状况。

神经元、突触与细胞

人工智能与通用智能

• 人类的神经元数量是有限的，而深度学习有无限的算力、无限的存储的能力。
• 很多动物的神经元不多，但仍然具有通用智能，生物智能具有一套与神经元数量无关的规则。

Baby Learning的生理基础与大脑的噪声模式

• 人工智能需要摆脱有监督学习（人类大部分的学习都是无监督学习）。
• 神经元之间的连接随着年龄的增长，部分连接会逐渐消失。
• 大脑的噪声消耗了百分之95的能量，大脑的噪声表示不同的神经元在试图进行联系。大脑形成一个网路。常连接。

认知的两套模型：规则+推理

• 机器学习：参数模型+非参数模型

大脑中的跨感觉影响与常识的存在

• 常理与人的泛化能力

记忆提取的野火模型

• “野火模型”（激活扩散模型）：从一点把火点起来，它就会往四周燃烧，一个线索的出现就会把相邻的东西给激活。
• 名字通常是孤立存储的，但场景或其他信息却可能有更为广泛的联系。语义记忆在不同的维度上是如何存储？该选择哪些维度？更多的和我们的经验有关系，这种存储更多的是为了便于我们去生存、社交等，选择其中重要的因素作为存储维度。
• 什么重要？什么不重要？智能的目的就是对变化环境的适应。

学习不是孤立的过程

• 先产生假设->验证（推理的过程），学习后形成经验

精确测量每个神经元

大脑可以复制吗？

梦的解析

神经元的复杂度

• 目前的DNN没有神经元胞体的成分，没有局部计算，只是改变网络之间的连接强度。神经元不应该这么简单。人的神经元远比DNN的神经元复杂。
• 图神经网络：能够做更好的知识表示、学习和推理，它有信息的传递，同时在内部还有单层/多层的网络。图神经网络比较接近拥有神经元胞体内部处理机制。