邱锡鹏《神经网络与深度学习》 绪论

1.2 机器学习

        机器学习 （ Machine Learning ， ML ） 是指从有限的观测数据中学习 （ 或 “猜测 ”） 出具有一般性的规律 ，并利用这些规律对未知数据进行预测的方法。机器学习可以分为监督学习 、 无监督学习和强化学习。

机器学习模型一般会包含以下几个步骤：

（ 1 ） 数据预处理 ： 对数据的原始形式进行初步的数据清理 ， 并构建成可用于训练机器学习模型的数据集 ．

（ 2 ） 特征提取 ：从数据的原始特征中提取一些对特定机器学习任务有用的 高质量特征。

（ 3 ） 特征转换 ： 对特征进行进一步的加工，比如降维和升维。降维包括 特征抽取 （ Feature Extraction ） 和 特征选择 （ Feature Selection ） 两种途径 ．常用的 特征转换方法有主成分分析 （ Principal Components Analysis ， PCA ）、 线性判别分析 （ Linear Discriminant Analysis ， LDA ） 等 ．

（ 4） 预测 ： 机器学习的核心部分 ， 学习一个函数并进行预测 ．

 ​1.3表示学习

        如果有一种算法可以自动地学习出有效的特征 ， 并提高最终机器学习模型的性能 ， 那么这种学习就可以叫作 表示学习 （ Representation Learning ）。

语义鸿沟： 是指输入数据的底层特征和高层语义信息之间的不一致性和差异性。

在机器学习中 ， 我们经常使用两种方式来表示特征 ： 局部表示 （Local Representation ） 和 分布式表示 （ Distributed Representation ）。

 嵌入通常指将一个度量空间中的一些对象映射到另一个低维的度量 空间中，并尽可能保持不同对象之间的拓扑关系。

1.4 深度学习

        深度学习 （ Deep Learning ， DL）：  构建具有一定“深度 ” 的模型 ，并通过学习算法来让模型自动学习出好的特征表示 （ 从底层特征 ， 到中层特征 ， 再到高层特征）， 从而最终提升预测模型的准确率。

深度学习是将原始的数据特征通过多步的特征转换得到一种特征表示 ，并 进一步输入到预测函数得到最终结果 ． 和 “ 浅层学习 ” 不同 ，深度学习需要解决 的关键问题是 贡献度分配问题 （ Credit Assignment Problem ， CAP）， 即一个系统中不同的 组件 （ component ） 或其参数对最终系统输出结果 的贡献或影响。

        

        如何自动学习有效的数据表示成为机器学习中的关键问题．早期的表示学习方法 ， 比如特征抽取和特征选择 ， 都是人工引入一些主观假设来进行学习的． 这种表示学习不是端到端的学习方式 ，得到的表示不一定对后续的机器学习任 务有效 ． 而深度学习是将表示学习和预测模型的学习进行端到端的学习 ，中间不 需要人工干预 ． 深度学习所要解决的问题是 贡献度分配问题 ，而神经网络恰好是解决这个问题的有效模型。