一、表征学习
表征学习是关于学习数据的(底层)特征,目标就是从数据中提取足够但最少的信息。
基于深度学习的表征学习可分三种类型:
- 监督学习
- 无监督学习(包括自监督学习)通过代理任务可以从大量五标签数据中探索监督信息
- 迁移学习TL
用于图像处理的表征学习:
- 监督表征学习。例如卷积神经网络CNN、深度信念网络DBN;深度卷积神经网络例如AlexNet、VGG、GoogLeNet、ResNet、DenseNet等;以及ImageNet、OpenImage二等大规模数据集均可用于训练深层的卷积神经网络。
- 无监督表征学习。常见的代理任务有灰度图像着色(Zhang et al,2016d)和图像修复(Pathak et al,2016)。在无监督训练阶段,需要设计供模型解决的预定义的代理任务,代理任务的伪标签是根据数据的一些属性自动生成的,然后根据代理任务的目标函数训练模型。训练结束后,其学习到的视觉特征可进一步迁移到下游任务中。
- 迁移学习。即在给定领域(目标领域)执行新任务时,利用了其他相关领域(源领域)的足够数量的先验知识 。用于图像处理的迁移学习技术分为特征表征知识迁移和基于分类器的知识迁移两种。
- 其他。例如强化学习和半监督学习
二、图表征学习
图表征学习(图表示学习)目的是将图中的节点嵌入低维的表征并有效地保留图的结构信息。
对于大型图来说,传统的图表征学习面临着一些挑战:高计算复杂性、低可并行性以及机器学习方法的不适用性。为此,基于深度学习的方法逐渐显现。
但是,利用深度学习方法来处理图数据仍然具有挑战性,具体表现在:
- 图的不规则结构。
- 异质性和多样性。
- 大规模图
- 纳入跨学科知识。
图神经网络的发展种类:
- 图循环神经网络(Graph RNN):通过在节点级或图级进行状态建模来捕捉图的循环和顺序模式
- 图卷积网络(GCN):在不规则的图结构上定义卷积和读取(readout)操作,以捕捉常见的局部和全局结构模式
- 图自编码器(GAE):GAE假设低秩图结构并采用无监督的方法进行节点表征学习
- 图强化学习(Graph RL):定义了基于图的动作和奖励,以便在遵循约束条件的同时获得图任务的反馈
- 图对抗方法:采用对抗训练技术来提高图模型的泛化能力,并通过对抗攻击测试其鲁棒性
三、图神经网络GNN
3.1 背景
传统的深度学习技术,已经在图像等欧氏距离数据或文本和信号等序列数据上取得巨大的成功,然而,现实世界中仍然有许多重要的对象和问题可以自然地或最优地用复杂的图结构来表达。图结构数据面临的一个挑战是,它们的空间局部性和结构不像图像或文本数据那么强。因此,图数据自然不适合高度规则化的神经结构,如卷积神经网络和循环神经网络。
3.2 基础
1、GNN可大致分为有监督的GNN和无监督的GNN
2、GNN面临的过平滑问题
3、可扩展性:若图结构数据过大,对于计算机内存消耗和计算成本都是巨大的挑战。为了解决这些问题,可采用不同的抽样策略,例如节点抽样、层抽样和图抽样。
4、可解释性:GNN的解释结果可以是重要的图的节点、边,也可以是节点或边的重要特征。有两种方法。一种是基于白盒近似的方法利用模型内部的信息(如梯度、中间特征和模型参数)来提供解释;另一种是基于黑盒近似的方法,利用内在可解释的简单模型(如线性回归和决策树)来适应复杂模型。
5、对抗鲁棒性:模型能否对抗恶意愚弄、误导及窃取等。研究GNN鲁棒性的标准方法(通过对抗性例子)是构造输入图数据的一个微小变化,然后观察是否导致预测结果产生较大变化(如节点分类准确性)。
3.3 前沿
1、图分类和连接预测
图分类的关键是图级表征,图级表征总结了输入图结构的关键特征。由于GNN的每一层只产生一个节点级表征,所以需要通过图池化层计算图级表征。
连接预测的目的是预测任何一对节点之间现在缺失或未来可能形成的链接
2、图生成和图转换
图生成问题是基于图建立的概率模型,用于图生成的基于GNN的代表性学习范式有三种:GraphVAE、GraphGAN和深度自回归学习方法。
图转换问题即条件图生成概率,其目标是学习输入源图和输出目标之间的转译映射。根据被转换的信息,一般分为四类:节点级转换、边级转换、节点-边共同转换和设及图的转换。
3、图匹配和图结构学习
图匹配即寻找两个输入图之间的对应关系
图结构学习即通过联合学习隐含的图结构和图节点表征来产生优化的图结构
4、动态图和异质图
动态图:图的节点和边经常会随着时间的推移而发生变化
根据动态图的类型,GNN大致分为用于离散时间动态图的GNN和用于持续时间动态图的GNN
异质图:由不同类型的图节点和边组成。开发异质图的方法有三种:基于消息传递的方法、基于编码器-解码器的方法和基于对抗的方法
5、AutoML和自监督学习
自动机器学习(AutoML)目的是应对人工调参过程耗时巨大这一挑战
自监督学习:目的是基于无标注数据设计和利用领域特定的辅助任务以预训练一个GNN模型