深度学习综述（译）

   本文参考了Recent Advances in Deep Learning: An Overview，并简单的翻译了一下，供自己学习使用，该论文列举了最近几年深度学习的重要研究成果，从方法、架构、正则化以及技术方面进行了概述，是值得学习的一篇文章，码字不易，且行且珍惜，欢迎交流讨论。
   

目录

• 摘要
• 引言
• 相关研究
• 近期进展
• 深度学习的方法
• 深度神经网络
• 深度生成模型
• 训练和优化技术
• 深度学习的框架
• 深度学习的应用

一、摘要

   深度学习是机器学习和人工智能研究的最新趋势之一。它也是当今最流行的科学研究趋势之一。深度学习方法带来了计算机视觉和机器学习方面的革命性进步。时不时地，新的深度学习技术应运而生，其性能超过了最先进的机器学习，甚至现有的深度学习技术。近年来，世界在该领域取得了许多重大突破。由于深度学习的发展速度非常快，因此很难跟踪常规的进展，特别是对于新的研究人员而言。在本文中，我们将简要讨论一下深度学习在过去几年中的最新进展。

二、引言

      “深度学习”（DL）一词于1986年首次引入机器学习（ML），随后于2000年用于人工神经网络（ANN）（Schmidhuber，2015年）。深度学习方法由多层组成，以多层抽象的方式学习数据特征（LeCun et al.，2015）。 DL方法允许计算机通过从相对简单的概念来学习复杂的概念（Goodfellow等人，2016）。对于人工神经网络（ANN），深度学习（DL）(又称分层学习（Deng and Yu，2014))是关于在多个计算阶段准确分配信用，以转换网络中的聚合激活（Schmidhuber，2014）。为了学习复杂的功能，将深度架构与多个抽象级别（即非线性操作）结合使用。例如具有许多隐藏层的人工神经网络（Bengio，2009）。准确地说，深度学习是机器学习的一个子领域，它使用许多层次的非线性信息处理和抽象，来进行有监督或无监督的特征学习、表示、分类和模式识别（Deng和Yu，2014年） ）。
      深度学习，即表示学习是机器学习的分支或子领域。大多数人认为最近的深度学习方法是2006年以来开发的（Deng，2011年）。本文概述了最新的深度学习技术，主要推荐给即将涉足该领域的研究人员。本文包括DL的基本概念，主要方法，最新进展和应用。
      综述论文是非常有益的，特别是对于某一特定领域的新研究人员而言。只要该领域如果在不久的将来和相关应用中具有重大价值的话，通常很难跟踪研究领域的最新进展。如今，科学研究是一种有吸引力的职业，因为知识和教育比以往任何时候都更加容易获得和分享。对于一种技术的研究趋势而言，唯一正常的假设是将它会以各种方式取得许多进步和改进。几年前对某个特定领域的概述，而现在可能已过时了。
      考虑到近年来深度学习的普及和推广，我们简要概述了深度学习和神经网络（NN），以及它在过去几年中的主要进展和重大突破。我们希望本文能为该领域的许多新手研究人员提供帮助，全面了解最新的深度学习研究和技术，并指导他们以正确的方式开始。我们也希望通过这项工作向这个时代的DL和ANN顶级研究人员致敬，例如:Geoffrey Hinton（Hinton），Juergen Schmidhuber（Schmidhuber），Yann LeCun（LeCun），Yoshua Bengio（Bengio）和许多其他研究学者。他们精心打造了现代人工智能（AI）。跟进他们的工作，以保持DL和ML研究的最新水平，对我们来说也很重要。
      在本文中，首先，我们将对过去有关深度学习模型和方法的综述文章进行简短描述。然后，我们将开始描述该领域的最新进展。我们将讨论深度学习（DL）方法，深度架构（即深度神经网络（DNN）和深度生成模型（DGM）），以及重要的正则化和优化方法。另外，有两个简短的部分，对于开源DL框架和重要的DL应用程序进行总结。最后，我们将在最后两个章节（即讨论和结论）中讨论深度学习的现状和未来。

三、相关研究

      在过去几年中，有许多关于深度学习（DL）的综述文章。他们以很好的方式描述了DL方法和方法论，以及它们的应用和未来研究的方向。在这里，我们将简要介绍一些深度学习方面的优秀的综述论文。
      Young等人（2017）讨论了主要用于自然语言处理（NLP）的DL模型和架构。他们展示了DL在各个NLP领域中的应用，比较了DL模型，并讨论了可能的未来趋势。
      Zhang等人（2017）讨论了用于前端和后端语音识别系统的最新深度学习技术。
      Zhu等人（2017）提出了有关DL遥感技术的最新进展。他们还讨论了用于深度学习的开源DL框架和其他技术细节。
      Wang等人 （2017）描述了深度学习模型在时间顺序方式上的演变。简要介绍了模型，并介绍了DL研究的突破。如果想以进化的方式了解深度学习的起源，那么这篇论文将是不错的阅读。他们还提到了神经网络的优化和未来的研究。
      Goodfellow等人 （2016年）详细讨论了深度网络和生成模型。他们从机器学习（ML）的基础知识，深度架构的优缺点出发，全面总结了最近的DL研究和应用。
       LeCun等人 （2015）发表了使用卷积神经网络（CNN）和递归神经网络（RNN）的深度学习（DL）模型的概述。他们从表示学习的角度描述了DL，展示了DL技术是如何工作的以及如何在各种应用中成功使用，并基于无监督学习（UL）预测了未来的学习。他们还指出了文献中DL的重大进展的文章。
       Schmidhuber（2015）对深度学习以及CNN，RNN和深度强化学习（RL）进行了一般性的历史回顾。他强调了序列处理的RNN，同时指出了基本DL和NN的局限性，以及改进它们的技巧。
       Nielsen（2015）详细描述了神经网络以及代码和示例。他还在某种程度上讨论了深度神经网络和深度学习。
       Schmidhuber（2014）讨论了基于时间序列的神经网络、采用机器学习方法进行分类，以及在神经网络中使用深度学