图神经网络系列（三）：应用-数据集、实例、未来方向

最新推荐文章于 2024-05-26 10:11:18 发布

任何值得拥有的都是值得等待的

最新推荐文章于 2024-05-26 10:11:18 发布

阅读量2.6k

点赞数 3

分类专栏：深度学习大创图神经网络文章标签：神经网络深度学习

本文链接：https://blog.csdn.net/m0_49423899/article/details/113425232

版权

大创同时被 3 个专栏收录

6 篇文章 1 订阅

订阅专栏

深度学习

5 篇文章 0 订阅

订阅专栏

图神经网络

4 篇文章 0 订阅

订阅专栏

图神经网络系列（三）：应用-数据集、实例、未来方向

1. 基准数据集

文章涉及的文献中每个数据集使用的频率，并展示了至少出现两次的数据集


引文网络	文章，作者及其关系（引文，作者，共同作者）
	`Cora`（ 2708个机器学习出版物，分为7个类）
	`Citeseer`（ 3327篇科学论文，分为6个类）
	`Pubmed`（ 19717个与糖尿病相关的出版物）
社交网络	`BlogCatalog`（博主和他们的社会关系形成的社交网络）
	`Reddit`（数据集是由`Reddit`论坛收集的帖子形成的无向图）
	`Epinions`（数据集是从在线产品评论网站收集的多关系图，其中评论者可以具有多种关系类型，例如信任，不信任，共同审查和共同评级。）
化学/生物图	原子作为节点，化学键作为边缘。此类图通常用于评估图分类性能
	`NCI-1`和`NCI-9`（数据集分别含有4100和4127种化合物，标记它们是否具有阻碍人癌细胞生长的活性。）
	`MUTAG`（数据集包含188种硝基化合物，标记为是芳香族还是杂芳香族。）
	`D＆D`（数据集包含1178个蛋白质结构，标记它们是酶还是非酶。）
	`QM9`（数据集包含133885个分子，标签是13种化学特性。） `Tox21`（数据集包含12707种化合物，分为12种毒性。）
	`PPI`（蛋白质 - 蛋白质相互作用网络，它包含24个生物图，其中节点表示蛋白质，边缘表示蛋白质之间的相互作用。在`PPI`中，图与人体组织关联，节点标签表示生物状态。）
非结构化图	结构化数据：即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据。
	非结构化数据：包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。
	`MNIST`（数据集包含70000张尺寸为28×28的图像，并有十类数字。将`MNIST`图像转换为图的典型方法是，基于其像素位置构造`8-NN`图形。）
	`Wikipedia`（数据集是从维基百科转储的前一百万字节中提取的单词共生网络。单词标签代表词性（`POS`）标签。）
	`20-NewsGroup`（数据集包含大约20,000个新闻组（`NG`）文本文档，有20种新闻类型。通过将每个文档表示为节点，并使用节点之间的相似性作为边缘权重来构造`20-NewsGroup`的图。）
其它	`METR-LA`是从洛杉矶高速公路收集的交通数据集
	`MovieLens-1M`数据集，包含由6 k 用户提供的100万项目评级。它是推荐系统的基准数据集。
	`NELL`数据集是从`Never-Ending Language Learning`项目获得的知识图。它由涉及两个实体及其关系的三元组组成。

2. 开源项目

ChebNet (2016) [12]

GAE (2016) [62]

GAT (2017) [15]

3. 实际应用

一、Computer Vision

1）从场景生成图像

参考论文： Image generation from scene graphs. Justin Johnson, Agrim Gupta, Li Fei-Fei. CVPR 2018. paper

1. 概述:

在场景图生成中，对象之间的语义关系有助于理解视觉场景背后的语义含义。给定一幅图像，场景图生成模型检测和识别对象，并预测对象对之间的语义关系。另一个应用程序通过生成给定场景图的真实图像来反转该过程。自然语言可以被解析为语义图，其中每个词代表一个对象，这是一个有希望的解决方案，以合成给定的文本描述图像。
在这里插入图片描述

解释，语义关系是什么？

最为基础的语义关系有两类：（1）上位概念和下位概念之间的关系，下位概念的出现仅仅是为了限定上位概念的外延，例如典型的宾语和动词之间的关系（“吃”和“面条”）；（2）述谓关系，这是最多最基础的关系。一个基本词汇单位对另一个基本词汇单位的陈述，最为典型的就是主谓关系，其次是状语和谓词之间的关系，大部分定语和名词之间的关系。都是述谓关系。

2. 理解

文本描述——场景图——生成图像

基于两个模型

l 图像生成模型
在这里插入图片描述

l 一对判别模型Dimg和Dobj
在这里插入图片描述

3. 实验达到效果：

可以生成多对象的场景，甚至是同一对象类型生成多种实例。
在这里插入图片描述

生成的例子表明该方法生成图像时遵循了对象之间的关系

在这里插入图片描述

具有生成复杂图像的能力

在这里插入图片描述

4. 对比评估

文本转图，现有的方法主要是结合递归神经网络（RNN）和生成对抗网络（GAN）来实现的，代表性的为ICCV 2016 2017的StackGAN方法，李团队采用GCN，结果比StackGAN要好1倍

2）点云分类和分割

点云是激光雷达扫描记录的一组三维点。此任务的解决方案使激光雷达设备能够看到周围的环境，通常用于无人驾驶车辆。为了识别点云所描绘的物体，将点云转换为k-最近邻图或叠加图，并利用图论进化网络来探索拓扑结构。

3 ）动作识别

识别视频中包含的人类动作有助于从机器方面更好地理解视频内容。一组解决方案检测视频剪辑中人体关节的位置。由骨架链接的人体关节自然形成图 。给定人类关节位置的时间序列，应用时空神经网络来学习人类行为模式。

4 ） rgb 语义分割

参考论文：3d graph neural networks for rgbd semantic segmentation. Xiaojuan Qi, Renjie Liao, Jiaya Jia†, Sanja Fidler, Raquel Urtasun . CVPR 2017.paper

· 提出一种基于三维点云的三维图神经网络（3DGNN），在点云的基础上构造了一个k近邻图。图中的每个节点都对应了一组点，并与一个隐藏的表示向量ini相关联。该传播模型按一定的时间步长展开，最终的每个节点表示用于预测每个像素的语义类。作者使用了时间反向传播来训练模型，在 NYUD2和 SUN-RGBD 数据集上进行实验验证了该方法的有效性。

· 3DGNN 利用了二维显示信息和三维几何关系，能够捕获图像中的长期依赖关系，是传统方法难以建立模型得到的。

5）其它

人-物交互、小样本图像分类、视觉推理和问答等

二、Recommender Systems

· 推荐系统

· 基于图的推荐系统以项目和用户为节点。通过利用项目与项目、用户与用户、用户与项目之间的关系以及内容信息，基于图的推荐系统能够生成高质量的推荐。推荐系统的关键是评价一个项目对用户的重要性。因此，可以将其转换为一个链路预测问题。目标是预测用户和项目之间丢失的链接。为了解决这个问题，有学者提出了一种基于GCN的图形自动编码器。还有学者结合GCN和RNN，来学习用户对项目评分的隐藏步骤。

三、Traffic

· 交通

· 交通拥堵已成为现代城市的一个热点社会问题。准确预测交通网络中的交通速度、交通量或道路密度，在路线规划和流量控制中至关重要。有学者采用基于图的时空神经网络方法来解决这些问题。他们模型的输入是一个时空图。在这个时空图中，节点由放置在道路上的传感器表示，边由阈值以上成对节点的距离表示，每个节点都包含一个时间序列作为特征。目标是预测一条道路在时间间隔内的平均速度。另一个有趣的应用是出租车需求预测。这有助于智能交通系统有效利用资源，节约能源。根据历史出租车需求，位置信息，天气数据和事件特征，Yao 等人[141]结合LSTM，CNN和由LINE [142]训练的节点embedding，形成每个位置的联合表示，以预测在一个时间间隔内该位置所需的出租车数量。