【GNN】《图深度学习》十、十一、十二、十三章学习笔记（GNN在NLP、CV、数据挖掘、医疗领域的应用）

---

在看《图深度学习》这本书时候记录的一些要点，每节序号和书的章节号对应可以翻阅。
Ⅰ是基础概念，Ⅱ是GNN的重点内容，Ⅲ是扩展知识。
Ⅳ是实际应用，Ⅴ是前沿进展，有需要的话可以深入了解。
Ⅰ《图深度学习》二、三章学习笔记（图论基础、深度学习基础）
Ⅱ《图深度学习》四、五章学习笔记（图嵌入、图神经网络）
Ⅲ《图深度学习》六、七、八、九章学习笔记（GNN的可扩展性、健壮性、复杂图、其他深度模型）
Ⅳ《图深度学习》十、十一、十二、十三章学习笔记（GNN在NLP、CV、数据挖掘、医疗领域的应用）
Ⅴ《图深度学习》十四、十五章学习笔记（高级方法、高级应用）

---

第十章——第十三章 图神经网络的实际应用

第十章 自然语言处理

10.2 语义角色标注

语义角色标注（SRL）：旨在发现句子中隐藏的谓语-论元结构。

可以在依存语法树（Syntactic Dependency Tree）上利用GNN融合句法信息，以提高SRL的性能。

10.3 神经机器翻译

编码器和解码器通常都采用循环神经网络或其变体建模。

10.4 关系抽取

关系抽取（RE）：旨在区分句子中两个实体之间是否存在关系（即句子的主语和宾语）。

10.5 问答系统

机器阅读理解（RC）或问答（QA）：旨在通过理解文档生成给定查询或问题的正确答案。

10.5.1 多跳问答任务

多跳问答任务：需要跨文档推理来回答给定的查询。

WIKIHOP数据集：专门为评估多条问答模型而创建的数据集，由一组问答样本组成。

10.5.2 Entity-GCN

为了捕获文档内和文档间实体之间的关系，从而提升跨文档的推理性能，可以将支持文档内和文档间对候选答案的提及进行连接，从而将多跳问答任务中的每个样本组织成图。使用Entity-GCN学习节点表示，用它们来从给定查询的候选集中识别正确答案。

10.6 图到序列学习

Graph2seq、GraphSAGE-Filter

10.7 知识图谱

图神经网络可以扩展到知识图谱中用于学习节点表示，从而辅助各种下游任务，包括知识图谱补全、节点重要性评估、实体链接和跨语言知识图谱对齐。

处理知识图谱中关系边的方法主要有两种：

1）将边的关系信息纳入图滤波器的设计中；

2）通过捕获关系信息，将关系知识图谱转化为简单的无向图。

第十一章 计算机视觉

图神经网络代表性算法在计算机视觉任务中的应用：

• 视觉问答
• 基于骨架的动作识别
• 图像分类
  1. 零样本图像分类：在没有任何新类别的训练图像的情况下，学习一个能够识别新类别的分类器。
  2. 少样本图像分类：一些类别只有$k$个带标记的图像，其中$k$非常小，为0时等同于零样本学习。
  3. 多标签图像分类：预测给定图像中存在的一组物体。
• 点云（Point Cloud）学习

第十二章 数据挖掘

图神经网络模型在数据挖掘中的典型任务有：

• 万维网数据挖掘
  1. 社交网络分析
     • 社会影响力预测
     • 社交表示学习
     • 政治观点检测
  2. 推荐系统（协同过滤）
• 城市数据挖掘
  1. 交通预测
  2. 空气质量预测
• 网络安全数据挖掘
  1. 恶意账户检测
  2. 虚假新闻检测

第十三章 生物化学和医疗健康

图神经网络模型在生物化学和医疗健康中的应用有：

• 药物开发与实现
  1. 分子表示学习
  2. 分子图生成
  3. 药物-靶标结合亲和力预测
  4. 蛋白质相互作用界面预测
• 药物相似性整合
• 复方药物副作用预测（多模态图）
• 药物推荐和疾病预测