深度学习的发展与挑战

本文介绍深度神经网络在不同的分类问题和接近人类水平性能的应用领域上的显著成果。讨论深度学习作为未来科学的各种疑问，揭示深度神经网络在机器执行任务方面的隐藏能力。

简介
智能系统的要求:
1.识别和处理各维度的复杂信息；
2.获取大量的信息。
深度学习通过应用反向传播算法来确定改变的参数，以正确计算前一层的每一层的输出。深度学习方法是一种将非线性模块组织成多个层次，将较低层次的表示转化为较高层次的抽象表示的表示学习方法。深度学习的显著特征是，特征层不是人为设计或确定的，而是通过一些通用的学习过程自主学习的。这种能力使得深度学习已经在各个领域取得了与对应的机器学习和人工智能技术相比的重大成功。
深度学习的发展进程
在过去的十年，深度学习已成功运用于各种需要大量数据训练和提供有用信息的技术和机制。但在2006年之前，即使已经存在深度学习，研究人员对深度学习的可行性和成功持怀疑态度。
深度学习的优点
1.可在嘈杂的环境中过滤并提取隐藏在噪声中的信息；
2.深度学习算法通过训练可以识别信息，并集成信息，使信息可视化；
3.深度学习算法可以识别数据，并找出有价值的信息和模式；
4.通过DBM(Deep Belief Method)或CNN(Convolutional Neural Networks)等，可方便的对非结构化和结构化数据进行分类，采用无监督训练和监督训练相结合的方法构建模型。
5.通过人工神经网络模拟人脑，逐步学习如何用人的方式解决问题。

深度学习的挑战
十年来，我们不仅正朝着一个更智能的宇宙前进，而且在不断地积累和生成大量的数据存储库。在这样一个避免数据混乱的场景中，深度学习被认为是能够处理大量数据并将数据有效利用的科学。
尽管深度学习应用广泛，但仍处于萌芽阶段。然而它很快成为开发和实现智能机器的主要研究方向。目前，几乎所有的人工智能应用程序，都是由深度学习驱动的。但是，事实并没有那么乐观，仍面临许多挑战。
1.大数据：根据国家安全局的数据，世界每天处理超过1.8艾字节的数据。此外，全世界人类所产生的数据量每天正以指数级的速度增长。当与大数据等一起使用时，深度学习有可能在短时间内管理和分析大量有监督或无监督的信息。然而，用单个处理器对如此大量的数据进行深度学习算法的训练是一项具有挑战性的任务。因此，采用CPU或图形处理单元（GPU）来提高深度学习算法的训练速度。然而，尽管已经实现了许多优化，但整个过程仍然很耗时，并且需要高数据处理能力。
2.海量数据集：深度学习在计算机视觉、自然语言处理、机器人等多个领域都取得了成功的应用。值得注意的是，高效学习的数据样本数量应是深度学习参数数量的10倍。因此，大量数据是此类网络成功的先决条件。
3.神经网络过拟合：训练数据集的误差报告与实际数据集的误差报告存在显著差异。这在具有多个参数的大型网络中是一个常见问题，因此会影响模型的有效性。
4.超参数优化：有些参数的值是在学习开始前定义的，这些参数称为超参数。这些参数值的微小变化会导致模型性能的显著变化。
5.试错学习：神经网络本质上是一个黑匣子，它们的操作是不透明的。深度学习创建了由多个处理层组成的计算模型，通过多级抽象层学习数据表示。在这种情况下，抽象层不是由工程师决定的，而是通过一些通用的学习算法从数据中学习的。因此，深度学习网络以一种分层的非线性机制处理输入，以初始化隐藏层节点的通用结构来表示。然后提交给监控层，通过反向传播算法对深度学习网络进行微调，以实现所需任务的优化表示。
6.脆弱性：深度学习网络是脆弱的，因为一个受过训练的网络只能执行它所接受的任务，并且在任何新任务上都表现得很差。
7.事后高维路径属性：深度学习以原始数据为输入，机器从中学习如何实现期望的结果。这是一个更深层次的挑战，需要将一系列行动联系起来，并将它们综合成有用的经验教训。行为属性（如隐藏、移动等）与结果之间的这种联系是基于复杂的时间关系和客观功能的。
结论
深度学习已经存在了几十年，其起源可以追溯到50年代后期的人工神经网络（ANN）。它一开始就深深地扎根于怀疑论之中。然而，它克服了所有的不确定性，成为一种应用于人类生活许多重要领域的技术。深度学习系统在短短十年内取得的巨大进步毫无疑问地证明，这项科学的影响实际上没有被夸大。然而，科学还很年轻，还有许多挑战需要克服。期待深度学习与改进的数据处理相结合，成为计算机获得人工智能的解决方案，仍然是一个遥远的梦想。