图神经网络-第一章：表征学习

图神经网络-第一章：表征学习

1.1导读

• 表征学习的目标是从数据中提取足够但最少的信息；
• 传统上，该目标可以通过先验知识以及基于数据和任务的领域知识来实现，这也被称为特征工程
• 特征工程是利用人类的聪明才智和现有知识的一种方式，旨在从数据中提取并获得用于机器学习任务的判别信息
• 特征工程的缺点：
  • 通常需要领域专家的密集劳动，这是因为特征工程可能需要模型开发者和领域专家之间紧密而广泛的合作；
  • 不完整的和带有偏见的特征提取。具体来说，不同的专家的知识限制了所提取特征的容量和判别能力。
• 为了克服这些缺点，使得学习算法不那么依赖特征工程，一直是机器学习和人工智能领域的一个非常理想的目标；
• 传统的表征学习方法：
  • 旨在学习数据转换，使其在建立分类器或其他预测器时更容易提取有用的信息
  • 主成分分析
  • 高斯马尔科夫随机场
  • 局部保持投影
• 基于深度学习的表征学习：
  • 由多个非线性组成，目的是产生更抽象且更有用的表征
  • 监督学习
    • 需要通过大量的标记数据训练深度学习模型。给定训练良好的网络，最后一个全连接层之前的输出总是被用作输数据的最终表征
  • 无监督学习（包括自监督学习）
    • 有利于分析没相应标签的输入数据，旨在学习数据的潜在固有结构或分布，通过代理任务可以从大量无标签数据中探索监督信息。基于这种方式构建的监督信息可以训练深度神经网络，从而为未来下游任务提取有意义的表征
  • 迁移学习
    • 设计利用任何知识资源（如数据、模型、标签等）增加模型对目标任务的学习和泛化能力
• 定义什么是好的特征很重要，在建立分类器或其他预测器时，基于表征更容易提取有用的信息
  • 基于生成模型的数据在生成任务中，对于观察到的输入，好的表征往往能够捕捉到潜在解释因素的后验分布
  • 对于预测任务来说，好的表征能够捕捉到输入数据的最好但足够的信息来正确预测目标标签