《图深度学习》——第一章

第一章：

• 为什么要关注图深度学习？

  • 从信息表达力度上说

    • 1-因为现实世界很多信息（关系）可以用图的方式表述信息

    • 2-假如现实世界的信息看起来好像非图关系，我们也可以转为图关系，虽然有信息损失，但是似乎影响不大

  • 从作用功能层面说（也就是有哪些计算任务）

    • 1-图上很多计算任务，图上进行的计算处理，信息处理，可以模拟解决处理现实世界很多问题，下面是例子

      • 1.1-链接预测：（边级别）

        • 社交网络——朋友推荐

        • 知识图谱补全

        • 药物相互作用预测

      • 1.2-节点分类问题（节点级别）

        • 用户分类（性别）

        • 交通预测（节点表示路段，是否拥堵）

        • 空气质量预测（节点表示地方）

      • 1.3-图分类问题（图级别）

        • 药物特性预测（每个药就是一张图）

        • 蛋白质特性预测（每个蛋白质就是一张图）

        • 大脑网络分析（每个大脑网络就是一张图）

  • 从和传统的机器学习技术关系来说

    • 1-图上的机器学习（图上的特征提取/图上的表征学习）

      • 1-从上面这张图我们可以得知，如果能很好进行特征提取或者说表征学习（学到这些节点、边，图在某个隐空间（向量空间）的某种不错的表示时或者说某种不错的特征向量与（节点，边，图）对应时，也或者说计算机感知出他们之间的信息差异（信息特点）时，这样就能交给下游的传统机器学习任务了，因为大多传统的机器学习任务都是基于特征和标签的有监督学习）

      • 2-所以如何在图上进行特征提取/如何进行表征学习呢？

        • 答：深度学习技术，但是遇到很多挑战，下面一一列举：

          • 挑战1-节点的邻居可以任意数量个（也就是数据无规则）

          • 挑战2-拓扑结构复杂，不会像图像，序列数据一样乖巧，具有一定的格式（仍然在说数据无规则）

          • 挑战3-节点没有所谓的顺序，也就是无论怎么给节点安排序号，其丝毫不会影响图的任何本质信息，比如拓扑结构不会因此变化，毫无动摇（仍然在说数据没有规则）

          • 综上：前向传播不易

• 图上的特征学习历史是怎样的？

  • 我们先聊聊特征提取

    • 特征工程

      • 需要人工来设计特征各个维度的组成，费时费力费计算，有时候还难免考虑不全面其特征应该具备哪些维度，有时候还容易引入没有用处的特征维度，其次，特征无法优化

    • 特征学习

      • 特征选择

        • 具有良好的可解释性：因为每个特征维度都是具有显示语义的，都是有物理意义的，训练时自动选择出对下游任务有用的特征进行组会，去除没有用处的特征

      • 表示学习：

        • 将信息嵌入到一个隐空间，这个隐空间是个特征向量空间，每个维度不再具备清晰的可解释性语义，隐语义模型，然后通过各种信息关系，缘聚而成，机器学习而来的（这些话听不懂，看不明白，没关系可以去学学LFM这些隐语义模型，或者深入了解表示学习）

  • 我们可以开始聊聊历史是怎样的了

    • 图表示学习第一代：（基于矩阵分解技术，纯数理逻辑）

    • 图表示学习第二代:(受到word2Vec启发，进行图表示嵌入，深度学习方法+采样技术)

    • 图表示学习第三代（纯粹的图深度学习，基于下游任务）

• 本课程关注哪些内容？

  • 直接上图

    

    • 理论基础+方法+应用+前沿

  • 理论基础

  • 方法

    • 图嵌入

    • 图神经网络

      

      • 图滤波是进行节点的或者边的表示学习

        

        • 不会改变拓扑结构
          • 方法：基于谱的图滤波+基于空间的图滤波

      • 图池化理解为对信息的聚合得到图的整体表示或者子图表示

        

        • 方法：层次图池化+平面图池化（会改变拓扑结构）

      • 鲁棒性

      • 可扩展性

    • 其他图上的深度想学习模型

      • 图上的变分编码器

      • 图上的对抗生成网络

      • LSTM+Tree-LSTM

  • 应用：（应用可太多了）

    • 自然语言处理方面

    • 推荐系统

    • 计算机视觉

    • 生物医疗

  • 前沿：

    • 可表达性

    • 过平滑问题（图神经网络层次越深，学到的表示变得都相似起来，不具有区分度了，类似过拟合）

    • 图上的自监督学习

    • 可解释性（打开黑盒子）

    • 一些新的应用