【深度学习会被可微分编程取代？】展望30年后的神经网络和函数编程

目前，深度学习是一个非常成功的工具。但这个工具是我们偶然发现的，作为一个领域，还没有统一的看法或共同的理解。事实上，这个领域还存在几种相互竞争的表述！

我认为在30年后回过头看，我们将看到很不一样的深度学习。

30年后的深度学习：神经科学观点、概率统计观点和表征观点，谁会胜出？

如果我们认为30年后，我们可能会以一种非常不同的方式看待深度学习，那么这就提出了一个有趣的问题：

到那时，我们将如何看待深度学习？

当然，没有人能真正知道我们将来如何理解这个领域。但有趣的是，我们现在可以做一些推测。

目前，有三种表述正在相互竞争，打算成为我们理解深度学习的关键。有借鉴生物学原理的神经科学的表述。有以数据转换和自然流形假设为中心的表示（representation）的表述。最后，还有一种概率性的表述，把神经网络解释为隐藏变量（latent variables）。这些表述并不是相互排斥的，但是它们对深度学习的思考方式却有着很大的不同。

而这篇文章将把表示的表述延伸到一个新的答案：深度学习研究的是优化和函数编程之间的联系。

从这个角度看，深度学习中对表示的表述，对应于函数编程中的类型理论（type theory）。这个理论认为，深度学习处在我们已知的两个领域的交汇处，这两个领域都已经有了很多的研究，它们是如此美丽，如此自然，我心中的数学家几乎可以相信，这就是对现实的根本描述。

这是一个推断性的想法。我并不是说这就是真的，而是想提出，这是可信的，完全可以想象深度学习正朝着这个方向发展。需要指出：我主要是在进行美学上的论证，而不是事实论证。我想表明，这是一个自然而优雅的想法，它涵盖了我们目前所说的深度学习。

我有几张阿里云幸运券分享给你，用券购买或者升级阿里云相应产品会有特惠惊喜哦！把想要买的产品的幸运券都领走吧！快下手，马上就要抢光了。

优化与函数复合

深度学习的独特之处是它研究的是深度神经网络——多层神经网络。在多层的进程中，模型逐渐弯曲数据，将其弯曲成易于解决给定任务的形式。

这些层的细节每隔一段时间就会改变一次。保持不变的是有一个序列的层。

每一层都是一个函数，作用于前一层的输出。整体而言，这个网络是一个复合函数链（a chain of composed functions）。这个复合函数链经过优化以执行任务。

我所知道的所有深度学习模型都涉及优化复合函数。我认为这是当前的研究的核心。

原文链接