深度学习基本概念

深度学习（Deep Learning）是近年来发展十分迅速的研究领域，并且在人工智能的很多子领域都取得了巨大的成功。从根源来讲，深度学习是机器学习 的一个分支，是指一类问题以及解决这类问题的方法。
首先，深度学习问题是一个机器学习问题，**指从有限样例中，通过算法总结出一般性的规律，并可以应用到新的未知数据上。**比如，我们可以从一些历史病例的集合，总结出症状和疾病之间的规律。这样当有新的病人时，我们可 以利用总结出来的规律，来判断这个病人得了什么疾病。
其次，和传统的机器学习不同，深度学习采用的模型一般比较复杂，指样本的原始输入到输出目标之间的数据流经过多个线性或非线性的组件（components）。 因为每个组件都会对信息进行加工，并进而影响后续的组件。当我们最后得到输出结果时，我们并不清楚其中每个组件的贡献是多少。这个问题叫做贡献度分配问题（Credit Assignment Problem，CAP） [Minsky, 1963]。在深度学习中， 贡献度分配问题是一个很关键的问题，这关系到如何学习每个组件中的参数。
目前可以比较好解决贡献度分配问题的模型是人工神经网络（ArtificialNeural Network，ANN）。人工神经网络，也简称神经网络，**是一种受人脑神经系统的工作方式启发而构造的一种数学模型。**和目前计算机的结构不同，人脑神经系统是一个由生物神经元组成的高度复杂网络，**是一个并行的非线性信息处理系统。**人脑神经系统可以将声音、视觉等信号经过多层的编码，从最原始的低层特征不断加工、抽象，最终得到原始信号的语义表示。和人脑神经网络类似，人工神经网络是由人工神经元以及神经元之间的连接构成，其中有两类特殊的神经元：一类是用来接收外部的信息，另一类是输出信息。这样，神经网络 可以看作是信息从输入到输出的信息处理系统。如果我们把神经网络看作是由一组参数控制的复杂函数，并用来处理一些模式识别任务（比如语音识别、人脸识别等）时，神经网络的参数可以通过机器学习的方式来从数据中学习。由于神经网络模型一般比较复杂，从输入到输出的信息传递路径一般比较长，所以复杂神经网络的学习可以看成是一种深度的机器学习，即深度学习。
*神经网络和深度学习并不等价。深度学习可以采用神经网络模型，也可以采用其它模型（比如深度信念网络是一种概率图模型）。但是由于神经网络模型可以比较容易地解决贡献度分配问题，因此神经网络模型成为深度学习中主要采用的模型。***虽然深度学习一开始用来解决机器学习中的表示学习问题，但是由于其强大的能力，深度学习越来越多地用来解决一些通用人工智能问题，比如推理、决策等。