神经网络也可以有逻辑——解析视觉推理（Visual Reasoning）

本文来源知乎，感谢作者Flood Sung授权转载！

前言

在我们的上一篇文章 最前沿：百家争鸣的Meta Learning/Learning to learn 中，我们谈到了星际2 需要AI具备极好的逻辑推理能力才行，那么实际上逻辑推理这个问题学术界一直有研究，但是进展缓慢。吴恩达Andrew Ng也说过当前的深度学习技术比较适合那些对人来说可以快速解答的问题，比如说图像识别，我们不用怎么思考，语音识别，我们也不用怎么思考。但是吴恩达这么说也不完全对，比如说AlphaGo。

AlphaGo有逻辑，会推理，能思考吗？

我们都知道人类下围棋是需要思考的，那么一个不是采用穷举办法的AlphaGo能够100%碾压人类最顶尖棋手，我们也可以认为AlphaGo是有逻辑，会推理，能思考的，只不过它的思考模式和人类完全不一样。我们人类棋手下每一步棋的思考过程都是可以被记录的，但是对于AlphaGo，我们完全不知道它到底在想些什么才做出了那样的判断。我们只能认为AlphaGo在将围棋的盘面特征输入到卷积神经网络CNN的每一层的过程中完成了所谓的逻辑推理。然而我们更愿意称之为直觉Intuition，这也是deepmind官方的看法，也就是说对于AlphaGo来说，它只要凭感觉就能下棋，只不过这种感觉非常准而已。但是，

直觉可以直接等同于逻辑推理吗？

这很令人怀疑。显然，从我们人类的角度出发，我们很清楚逻辑推理是一种怎样的过程，它很大程度上是有步骤的。我们常常经过多步的思考，才做出一个决定。因此，既然让计算机能够推理是实现通用人工智能的必由之路，那么是不是可以构造一个简单一点的，但是又必须有严格的推理才能解答的问题，从而来更好的研究人工智能推理的问题。

视觉推理Visual Reasoning就是这样一个应运而生的问题！

视觉推理与CLEVER数据集

视觉推理在这里主要是限定在VQA(Visual Question Answering)的问题上，也就是让计算机看一副图，然后给出一个问题，让其回答。相比传统的VQA问题，视觉推理问题的要求是要让问题难度提升，必须经过推理才能回答。CLEVER数据集[1]就是这样一个专门针对视觉推理而诞生的数据集。CLEVER数据集是Li Fei-Fei团队做出的成果，不得不说Li Fei-Fei总是特别有远见的通过为大家贡献数据集来引领人工智能的发展。CLEVER数据集是怎样的呢？

从上图可以看到，CLEVER数据集的图都是一些简单的几何体，但是问题却复杂的多。比如说上图的第一个问题：大物体和金属球的数量是一样的吗？为了能回答这个问题，我们首先需要找出大的物体还有金属球，然后要分别计算各自的数量，最后判断两者的数量是不是相等，也就是为了回答这么一个问题，我们需要三步的推理。那么深度神经网络如果也要能做出正确的判断，我们可以认为