【Deep learning vs BPL】思考：complex => simple => rich

在12月10日以来，science刊登这篇文章《Human-level concept learning through probabilistic program induction》.

首先，不得不对这篇文章产生崇高的敬意，基于此，我立马用google搜索了该文一作, Dr. Lake。 从技术上来将，是贝叶斯学派的及其学习文章，从内容上来讲是一篇认知科学的文章，她用简单的symbolic诠释了人类的认识过程的三要素，也是贯穿全文的三要素： compositionality, causality, and learning to learn. 超图灵以及拥有创造力的表现让一部分人们认为human-level learning 才是人工智能的关键。

然而，我必须要argue这篇文章的一点是，文章中所有的background set or raw alpabets 这些数据哪里来，生活中吗？一张图片能这么简单么，raw data 复杂了之后这样还有效吗？由简单（primitives）-> 元件（parts）-> object -> exemplars，这样一条路线符合电子工程设计路线，可能是人工智能也会走的路线。但是，..... 

记得Li Fei Fei 在今年3月份的TED上讲，deep learning: 我们用上亿张图片教会了计算机see objects, 但是还会出错，所以有的人在提高算法，让计算机出现更少的错误。然而，这仅仅是第一步而且还没有走完。

回顾一下，deep learning这些年干的一件事就是从复杂的数据中提取简单的东西。也就是说的deep learning通过分层记忆 模仿了人脑处理和分析数据的能力，提取有用的简单的信息（虽然比较慢）。BPL是通过分层的先验知识模仿了人脑的认识过程。然而由复杂信息到简单信息再到简单信息的再拓展，乃至再创造，我想BPL（deep architecture）是deep learning的下一步了吧！这是引领deep learning进入下一个时代的方向标了吧！

complex => simple => rich...