【深度学习之美02】深度学习的方法论是什么？

1.5 再议“end-to-end”（端到端）

在深度学习中，经常有“end-to-end（端到端）”学习的提法，与之相对应的传统机器学习是“Divide and Conquer（分而治之）”。这些都是什么意思呢？

“end-to-end”（端到端）说的是，输入的是原始数据（始端），然后输出的直接就是最终目标（末端），中间过程不可知，也难以知。比如说，基于深度学习的图像识别系统，输入端是图片的像素数据，而输出端直接就是或猫或狗的判定。这个端到端就是：像素判定。

再比如，“end-to-end”的自动驾驶系统，输入的是前置摄像头的视频信号（其实也就是像素），而输出的直接就是控制车辆行驶指令（方向盘的旋转角度）。这个端到端就是：像素指令。

 

就此，有人批评深度学习就是一个黑箱（Black Box）系统，其性能很好，却不知道为何而好，也就是说，缺乏解释性。其实，这是由于深度学习所处的知识象限决定的。深度学习，在本质上，属于可统计不可推理的范畴。“可统计”是很容易理解的，就是说，对于同类数据，它具有一定的统计规律，这是一切统计学习的基本假设。那“不可推理”又是什么概念？其实就是“剪不断、理还乱”的非线性状态了。

1.6 深度学习的方法论

从哲学上讲，这种非线性状态，是具备了整体性的“复杂系统”，属于复杂性科学范畴。复杂性科学认为，构成复杂系统的各个要素，自成体系，但阡陌纵横，其内部结构难以分割。简单来说，对于复杂系统，1+1≠2，也就是说，一个简单系统，加上另外一个简单系统，其效果绝不是两个系统的简单累加效应，而可能是大于部分之和。因此，我们必须从整体上认识这样的复杂系统。于是，在认知上，就有了从一个系统或状态（end）直接整体变迁到另外一个系统或状态（end）的形态。这就是深度学习背后的方法论。

与之对应的是“Divide and Conquer（分而治之）”，其理念正好相反，在哲学它属于“还原主义（Reductionism，或称还原论）”。在这种方法论中，有一种“追本溯源”的蕴意包含其内，即一个系统（或理论）无论多复杂，都可以分解、分解、再分解，直到能够还原到逻辑原点。

在意象上，还原主义就是“1+1=2”，也就是说，一个复杂的系统，都可以由简单的系统简单叠加而成（可以理解为线性系统），如果各个简单系统的问题解决了，那么整体的问题也就得以解决。比如说，很多的经典力学问题，不论形式有多复杂，通过不断的分解和还原，最后都可以通过牛顿的三大定律得以解决。

复杂系统的比拟

从传统的“还原论”出发，单纯的线性组合思维，势必就会导致人工智能系统的设计，功能过于简单。如果我们希望模拟的是一个“类人”的复杂系统（即人工智能系统），自然就无法有效达到目的，具体说来，有如下两个方面的原因：

（1）这个世界（特别是有关人的世界）本身是个纷纭复杂的系统，问题之间互相影响，形成复杂的网络，这样的复杂系统，很难利用一个或几个简单的公式、定理来描述和界定。
（2）在很多场景下，受现有测量和认知工具的局限，很多问题在认识上根本就不具有完备性。因此，难以从一个“残缺”的认知中，提取适用于全局视角的公式和定理。

对于这个复杂的世界，直接抓住它的规律并准确描述它，是非常困难的。在一个复杂系统中，由于非线性因素的存在，任何局部信息都不可能代表全局。大数据时代有个典型的特征就是，“不是随机样本，而是全体数据（n=all）”，而“全体数据”和复杂性科学中“整体性”，在一定程度上，是有逻辑对应关系的。

1.7 “恋爱”中的深度学习

法国科技哲学家伯纳德﹒斯蒂格勒（Bernard Stiegler）认为，人们总以自己的技术和各种物化的工具，作为自己“额外”的器官，不断地成就自己。按照这个观点，其实，在很多场景下，计算机都是人类思维的一种物化形式。换句话说，计算机的思维（比如说各种电子算法），都能找到人类生活实践的影子。

比如说，现在火热的深度学习，与人们的恋爱过程也有相通之处。在知乎社区上，就有人（如jacky yang）以恋爱为例来说明深度学习的思想，倒也非常传神。我们知道，男女恋爱大致可分为三个阶段：

第一阶段初恋期，相当于深度学习的输入层。妹子吸引你，肯定是有很多因素，比如说脸蛋、身高、身材、性格、学历等等，这些都是输入层的参数。对不同喜好的人，他们对输出结果的期望是不同的，自然他们对这些参数设置的权重也是不一样的。比如，有些人是奔着结婚去的，那么他们对妹子的性格可能给予更高的权重。否则，脸蛋的权重可能会更高。

恋爱中的深度学习

 

第二阶段热恋期，对应于深度学习的隐藏层。在这个期间，恋爱双方都要经历各种历练和磨合。清朝湖南湘潭人张灿写了一首七绝：

书画琴棋诗洒花，当年件件不离他。
而今七事都更变，柴米油盐酱醋茶。

这首诗说的就是，在过日子的洗礼中，各种生活琐事的变迁。恋爱是过日子的一部分，其实也是如此，也需要双方不断地磨合。磨合中的权重取舍平衡，就相当于深度学习中隐藏层的参数调整，它们需要不断地训练和修正！恋爱双方相处，磨合是非常重要的。要怎么磨合呢？光说“520（我爱你）”，是廉价的。这就给我们提个醒，爱她（他），就要多陪陪她（他）。陪陪她（他），就增加了参数调整的机会。参数调整得好，输出的结果才能是你想要的。

第三阶段稳定期，自然相当于深度学习的输出层。输出结果是否合适，是否达到预期，高度取决于“隐藏层”的参数“磨合”得怎么样。

 

本文节选自《 深度学习之美：AI时代的数据处理与最佳实践》（张玉宏著，电子工业出版社，2018年7月出版）
（连载待续）

转载于:https://my.oschina.net/zhangyuhong/blog/1932841