目前,深度学习是一个非常成功的工具。但这个工具是我们偶然发现的,作为一个领域,还没有统一的看法或共同的理解。事实上,这个领域还存在几种相互竞争的表述!
我认为在30年后回过头看,我们将看到很不一样的深度学习。
30年后的深度学习:神经科学观点、概率统计观点和表征观点,谁会胜出?
如果我们认为30年后,我们可能会以一种非常不同的方式看待深度学习,那么这就提出了一个有趣的问题:
到那时,我们将如何看待深度学习?
当然,没有人能真正知道我们将来如何理解这个领域。但有趣的是,我们现在可以做一些推测。
目前,有三种表述正在相互竞争,打算成为我们理解深度学习的关键。有借鉴生物学原理的神经科学的表述。有以数据转换和自然流形假设为中心的表示(representation)的表述。最后,还有一种概率性的表述,把神经网络解释为隐藏变量(latent variables)。这些表述并不是相互排斥的,但是它们对深度学习的思考方式却有着很大的不同。
而这篇文章将把表示的表述延伸到一个新的答案:深度学习研究的是优化和函数编程之间的联系。
从这个角度看,深度学习中对表示的表述,对应于函数编程中的类型理论(type theory)。这个理论认为,深度学习处在我们已知的两个领域的交汇处,这两个领域都已经有了很多的研究,它们是如此美丽,如此自然,我心中的数学家几乎可以相信,这就是对现实的根本描述。
这是一个推断性的想法。我并不是说这就是真的,而是想提出,这是可信的,完全可以想象深度学习正朝着这个方向发展。需要指出:我主要是在进行美学上的论证,而不是事实论证。我想表明,这是一个自然而优雅的想法,它涵盖了我们目前所说的深度学习。
我有几张阿里云幸运券分享给你,用券购买或者升级阿里云相应产品会有特惠惊喜哦!把想要买的产品的幸运券都领走吧!快下手,马上就要抢光了。
优化与函数复合
深度学习的独特之处是它研究的是深度神经网络——多层神经网络。在多层的进程中,模型逐渐弯曲数据,将其弯曲成易于解决给定任务的形式。
这些层的细节每隔一段时间就会改变一次。保持不变的是有一个序列的层。
每一层都是一个函数,作用于前一层的输出。整体而言,这个网络是一个复合函数链(a chain of composed functions)。这个复合函数链经过优化以执行任务。
我所知道的所有深度学习模型都涉及优化复合函数。我认为这是当前的研究的核心。