From System 1 Deep Learning to System 2 Deep Learning

论文
报告地址
唐杰教授的解读

Yoshua的第一个观点

人的认知系统包含两个子系统：system1直觉系统，主要负责快速、无意识、非语言的认知，这是目前深度学习主要做的事情；system2是逻辑分析系统，是有意识的、带逻辑的、规划、推理以及可以语言表达的系统，这是未来深度学习需要着重考虑的。《思考，快与慢》

如何用深度学习来实现system2

yoshua认为，对于计算机来说，最关键的是处理数据分布中的变化。对于system2来说，基本的要素包括：注意力和意识。注意力实际在目前的深度学习模型中已经有大量的实现和探讨，比如GAT（图注意力机制）等；意识这部分则比较难，其实意识最关键的是定义到怎样的边界。

yoshua提到意识先验可以使用稀疏因子图模型来实现，这是一个思路，实现了因果关系？

从整体的理论框架方面可以考虑元学习、局部修正假设、因果发现，最后架构方面可以考虑如何学习不同对象的操作。

对于处理数据分布，传统机器学习都是基于IID（独立同分布假设），但实际现状是很多真实场景下我们感兴趣的数据往往是出现次数非常少的数据，也就是我们在处理时需要关注的是OOD（out of distribution），也就是在数据中出现较少的分布，当然这需要我们在机器学习算法中有新的数据假设。

（一个说明IID假设的例子）
为了进一步理解IID假设存在问题的方式，让我们考虑一个购物示例。假设爱丽丝（Alice）正在互联网上寻找笔记本电脑背囊（即带有笔记本电脑隔层的帆布背囊），并且网上商店的推荐系统建议她应该购买一台笔记本电脑与该背包一起使用。这似乎很奇怪，因为她可能已经拥有一台笔记本电脑，否则她一开始就不会寻找背包。在某种程度上，笔记本电脑是原因，而帆布背包是原因。如果告诉我客户是否购买了笔记本电脑，这将减少我是否还购买了笔记本电脑背囊的不确定性，反之亦然-这样做的数量相同（相互信息），因此，原因和方向效果消失了。但是，它存在于产生统计依赖性的物理机制中，例如，使客户一旦拥有笔记本电脑就想购买背包的机制。推荐要购买的商品构成对系统的干预，这使我们脱离了IID设置。我们不再使用观测分布，而是使用某些变量或机制已更改的分布。这就属于因果的范畴了。

尤其是从Agent的角度来考虑，需要考虑哪些是影响数据分布变化的因素，以及不同分布的可组合性等方法如何对现在的IID和OOD进行泛化。相对传统的符号AI系统，当前AI需要更多具有泛化能力的机器学习能力。

机器学习和意识模型相结合的关键是如何在机器学习中实现意识，或者说意识相关的理论/模型如何帮助机器学习。 啥意思？

比如可以基于意识理论构造一些假设，然后用机器学习的方法验证这些假设。当然从个的角度来看意识，高层次的表示可以说是语言，这需要把人的两个认知系统system1和system2有机地结合起来，也就是说把低层次的表示和高层次的决策结合起来。

前意识/意识先验

具体可以使用稀疏因子图，基本思路是图模型的统一模型，因子图的好处是可以把有向图和无向图都统一起来。

稀疏因子图可以用来学习变量之间的因果关系，从而构造变量之间的因果关系。（找到真正的因果关系，而不是给不同变量给一个权重，这是为什么考虑稀疏的原因）

因子图

元学习（学习学习的模型）

是可能实现机器学习到OOD和模型快速迁移的一个办法。说到OOD，究其原因是有行为的变化，或者是用户行为对于数据的干预。元学习的知识表示可以有效帮助克服OOD，比如通过元迁移学习到变量之间的因果关系，这里的挑战是如何学习到未知干预变量的因果特性。最后是如何学习样本的可能操作，类似自动机器学习，但这里是在对象的不同操作层面。

举个例子？