目前AI主要瓶颈

目前深度学习主要问题：

当我们将人类智能，和目前的人工智障对比时，常常举的例子就是“现在机器学习依赖大数据，而人类的学习却是相反的，依赖小数据”。这个说法其实不尽准确。人类拥有太多的感知器官，无时无刻不接收着巨量的数据：就按人眼的分辨率而言，目前几乎没有什么实际的机器学习模型模型使用如此高清晰度的数据进行训练的。我们观察一个东西的时候，所有的知觉都潜移默化地给我们灌输海量的数据，供我们学习，推理，判断。我们所谓的“小数据”，实际上主要分为两个部分：

1. 少标签。我们遇到的“题目”很多，我们无时无刻不在接受信息；但是我们的“答案”很少，我们可能看过各种各样的人，各种各样的动物，直到某一天才有人用3个字告诉我们，“这是猫”。可能一生中，别人给你指出这是猫的次数，都是屈指可数的。但是，仅仅通过这一两次提示（相当于一两个标签），你就能在一生中记得这些概念。甚至别人从不告诉这是猫，你也知道这应该不是狗或者其他动物。这种“没有答案”的学习称为 “无监督学习”（Yann LeCun将其比作蛋糕胚，以示其基础性的作用），目前机器学习在无监督学习方面进展很少。

2.逻辑推断，因果分析。也可以说是少证据。如果你看过探案相关的小说，那些侦探，能从非常细微的证据中，得出完整的逻辑链；现实中，爱因斯坦等物理学家能够从非常少的几点假设构建出整套物理学框架。最早的人工智能研究很多集中在类似的方面（流派被称为“符号主义”），但是事实证明这些研究大多数很难应用到实际问题中。现在NN为人所诟病的方面之一就是很难解决逻辑问题，以及因果推断相关的问题（不过最近有些进步，比如在视觉问答VQA方面）

深度学习发展历史

目前来看，很多对 NN 的贡献（特别是核心的贡献），都在于NN的梯度流上，比如

sigmoid会饱和，造成梯度消失。于是有了ReLU。
ReLU负半轴是死区，造成梯度变0。于是有了LeakyReLU，PReLU。
强调梯度和权值分布的稳定性，由此有了ELU，以及较新的SELU。
太深了，梯度传不下去，于是有了highway。
干脆连highway的参数都不要，直接变残差，于