《图神经网络基础、前沿及应用》学习笔记1

最新推荐文章于 2024-09-08 22:38:01 发布

氧气吸收员

最新推荐文章于 2024-09-08 22:38:01 发布

阅读量695

点赞数 10

文章标签：神经网络学习笔记

本文链接：https://blog.csdn.net/m0_53936504/article/details/140879106

版权

一、表征学习

表征学习是关于学习数据的（底层）特征，目标就是从数据中提取足够但最少的信息。

基于深度学习的表征学习可分三种类型：

监督学习
无监督学习（包括自监督学习）通过代理任务可以从大量五标签数据中探索监督信息
迁移学习TL

用于图像处理的表征学习：

监督表征学习。例如卷积神经网络CNN、深度信念网络DBN；深度卷积神经网络例如AlexNet、VGG、GoogLeNet、ResNet、DenseNet等；以及ImageNet、OpenImage二等大规模数据集均可用于训练深层的卷积神经网络。
无监督表征学习。常见的代理任务有灰度图像着色(Zhang et al,2016d)和图像修复(Pathak et al,2016)。在无监督训练阶段，需要设计供模型解决的预定义的代理任务，代理任务的伪标签是根据数据的一些属性自动生成的，然后根据代理任务的目标函数训练模型。训练结束后，其学习到的视觉特征可进一步迁移到下游任务中。
迁移学习。即在给定领域（目标领域）执行新任务时，利用了其他相关领域（源领域）的足够数量的先验知识。用于图像处理的迁移学习技术分为特征表征知识迁移和基于分类器的知识迁移两种。
其他。例如强化学习和半监督学习

二、图表征学习

图表征学习（图表示学习）目的是将图中的节点嵌入低维的表征并有效地保留图的结构信息。

对于大型图来说，传统的图表征学习面临着一些挑战：高计算复杂性、低可并行性以及机器学习方法的不适用性。为此，基于深度学习的方法逐渐显现。

但是，利用深度学习方法来处理图数据仍然具有挑战性，具体表现在：

图的不规则结构。
异质性和多样性。
大规模图
纳入跨学科知识。

图神经网络的发展种类：

图循环神经网络（Graph RNN）：通过在节点级或图级进行状态建模来捕捉图的循环和顺序模式
图卷积网络（GCN）：在不规则的图结构上定义卷积和读取(readout)操作，以捕捉常见的局部和全局结构模式
图自编码器（GAE）：GAE假设低秩图结构并采用无监督的方法进行节点表征学习
图强化学习（Graph RL）：定义了基于图的动作和奖励，以便在遵循约束条件的同时获得图任务的反馈
图对抗方法：采用对抗训练技术来提高图模型的泛化能力，并通过对抗攻击测试其鲁棒性

三、图神经网络GNN

3.1 背景

传统的深度学习技术，已经在图像等欧氏距离数据或文本和信号等序列数据上取得巨大的成功，然而，现实世界中仍然有许多重要的对象和问题可以自然地或最优地用复杂的图结构来表达。图结构数据面临的一个挑战是，它们的空间局部性和结构不像图像或文本数据那么强。因此，图数据自然不适合高度规则化的神经结构，如卷积神经网络和循环神经网络。