深度学习绪论

1绪论

  深度学习的关键：贡献度分配问题         人工神经网络（ANN）

1.1人工智能

 

 

1.2机器学习

机器学习：从有限的观测数据中学习出具有一般性的规律，并利用这些规律对未知数据进行预测

浅层学习不涉及特征学习，其特征主要靠人工经验或特征转换方法来抽取。

1.3表示学习

表示学习：自动学习出有效特征，提高机器学习模型的性能。

语义鸿沟：输入数据的底层特征和高层语义信息之间的不一致性和差异性

表示学习的关键是解决语义鸿沟（Semantic Gap）问

嵌入：将一个度量空间中的一些对象映射到另一个低维的度量空间中，并尽可能保持不同对象之间的拓扑关系。

表示学习的关键是构建具有一定深度的多层次特征表示。

1.4深度学习

深度学习是机器学习的一个子问题，其主要目的是从数据中自动学习到有效的特征表示。

深度学习需要解决的关键问题是贡献度分配问题（CAP）

端到端学习：在学习过程中不进行分模块或分阶段训练，直接优化任务的总体目标。

1.5神经网络

神经网络：模仿人脑神经系统的数学模型

赫布理论：“当神经元 A 的一个轴突和神经元 B 很近，足以对它产生影响，并且持续地、重复地参与了对神经元 B 的兴奋，那么在这两个神经元或其中之一会发生某种生长过程或新陈代谢变化，以致神经元 A 作为能使神经元B兴奋的细胞之一，它的效能加强了

首个可学习的人工神经网络是赫布网络。

感知器是最早的具有机器学习思想的神经网络，但其学习方法无法扩展到多层的神经网络上。

1980 年左右，反向传播算法才有效地解决了多层神经网络的学习问题，并成为最为流行的神经网络学习算法．

网络容量：一个人工神经网络塑造复杂函数的能力