综述
本讲是图表示学习综述,介绍了图嵌入(节点嵌入)表示学习的基本框架和编码器-解码器架构,将节点嵌入映射为低维、连续、稠密向量。向量空间的相似度反应节点相似度。在同一个随机游走序列中共同出现的节点,视为相似节点,从而构建类似Work2Vec的自监督学习场景。衍生出DeepWalk、Node2Vec等基于随机游走的图嵌入方法。
从数学上,随机游走方法和矩阵分解是等价的。进而讨论嵌入整张图的方法,可以通过所有节点嵌入向量聚合、引入虚拟节点、匿名随机游走等方法实现。
思考题
1,机器学习中的“表示学习”是做什么的?为什么要做表示学习?
表示学习是机器学习中一种重要的方法,它的目的是让计算机能够从原始输入数据中学习到有用的特征表示。通过表示学习,计算机可以更好地理解数据,从而实现更精准的预测和决策。
2,CS224W整门课程,都对哪些研究对象进行了嵌入编码的表示学习操作?
各模态输入,比如语音、图像、视频、文本等研究对象。
3,图嵌入有什么用?
图嵌入是一种机器学习技术,它可以将图形数据转换为低维的向量表示,从而可以用于机器学习中的训练和任务,比如图像分类,图像语义对比,导航地图建模以及自然语言处理(NLP)。图嵌入还可以用于社交网络分析,推荐系统,医学图像分析,自动驾驶等领域。
4, 图嵌入有哪几种技术方案?各有什么优劣?
1. 基于深度学习的图嵌入技术:优点是可以自动学习图中节点之间的关系,可以捕捉到图中的复杂结构;缺点是训练时间较长,需要大量的训练数据。
2. 基于矩阵分解的图嵌入技术:优点是训练时间短,可以有效地捕捉图中的结构特征;缺点是不能自动学习图中节点之间的关系,需要预先定义好图的结构特征。
3. 基于随机游走的图嵌入技术:优点是可以自动学习图中节点之间的关系,可以捕捉到图中的复杂结构;缺点是训练时间较长,需要大量的训练数据。
5,如何理解图嵌入向量的“低维、连续、稠密”
图嵌入向量的“低维、连续、稠密”特性指的是,图嵌入向量的维度较低,可以用一组连续的数值表示,而且这些数值之间的关系非常紧密,可以用来表示图中节点之间的关系。图嵌入向量的低维特性可以有效减少计算量,而连续性和稠密性可以更好地表示图中节点之间的关系。
6,如何衡量两个节点是否“相似”?
可以使用余弦相似度来衡量两个节点的相似度,它是一种测量两个向量之间的相似度的方法,可以用来衡量两个节点的相似度。余弦相似度的值越接近1,表示两个节点越相似;反之,越接近0,表示两个节点越不相似。
7,图嵌入中,Decoder为什么用两个向量的数量积?
Decoder使用两个向量的数量积来解码图像嵌入的原因是:这种形式的解码可以有效地捕获最相关的特征,而不是假设图像嵌入中使用的是完整的内容(一个向量)。在图像嵌入过程中,可能会丢失一些内容,但仍然可以从相似向量之间的关系中获取有意义的信息。此外,使用两个向量的数量积是因为它可以捕捉两个节点之间的关系,从而更好地表示图结构。数量积可以捕捉两个节点之间的相似度,从而更好地表示图结构。
8,如何理解图嵌入中的Shallow Encoder和Deep Encoder?有何区别?
图嵌入是一种将图形数据转换为向量表示的技术,它可以用于图形分类、检索和其他机器学习任务。Shallow Encoder和Deep Encoder是图嵌入中的两种不同类型的编码器。
Shallow Encoder是一种浅层编码器,它只使用一层神经网络来提取图像的特征,并将其转换为向量表示。它可以有效地捕获图像的结构信息,但是它可能无法捕获更复杂的特征。
Deep Encoder是一种深层编码器,它使用多层神经网络来提取图像的特征,并将其转换为向量表示。它可以捕获更复杂的特征,但是它可能会消耗更多的计算资源。
总的来说,Shallow Encoder更容易实现,但是Deep Encoder可以捕获更复杂的特征。
9,随机游走序列包含了哪些信息?
随机游走序列包含了一系列的位置信息,比如起点、终点、中间经过的点,以及每一步的距离和时间。它还可以包含其他信息,比如游走的方向、速度、路线等。
10,图机器学习和自然语言处理存在怎样的对应关系?
图机器学习和自然语言处理之间存在着密切的联系。图机器学习可以用来捕捉文本中的语义关系,而自然语言处理可以用来捕捉图结构中的语义关系。因此,两者可以相互补充,从而更好地理解文本和图结构。
11,简述DeepWalk算法原理?
DeepWalk是一种基于图的学习算法,它可以从社交网络中抽取特征,并将其转换为低维空间的向量表示。DeepWalk使用随机游走算法,从图中抽取节点序列,然后将这些序列作为文本,使用Word2Vec算法将其转换为低维空间的向量表示。DeepWalk可以有效地捕获图中节点之间的关系,并将其转换为低维空间的向量表示,从而可以用于图分类、聚类和其他任务。
12,简述Node2Vec算法原理?
Node2Vec是一种基于深度学习的图嵌入算法,它可以将图中的节点映射到低维空间中的向量表示。Node2Vec算法通过模拟随机游走来学习节点的嵌入,它使用一种称为Skip-Gram的模型来学习节点的嵌入,该模型将节点的邻居视为上下文,并使用概率分布来预测节点的邻居。Node2Vec算法可以通过调整游走策略来捕获不同类型的结构,从而捕获图中的复杂关系。
13,除了DeepWalk和Node2Vec之外,还有哪些基于随机游走的图嵌入算法?
1. LINE:基于结构的随机游走算法,可以学习一种基于结构的嵌入,其中每个节点的嵌入取决于其与其他节点的关系。
2. GraRep:基于结构的随机游走算法,可以学习一种基于结构的嵌入,其中每个节点的嵌入取决于其与其他节点的关系,以及其与其他节点的关系的复杂性。
3. HOPE:基于结构的随机游走算法,可以学习一种基于结构的嵌入,其中每个节点的嵌入取决于其与其他节点的关系,以及其与其他节点的关系的复杂性,以及其与其他节点的关系的稳定性。
4. SDNE:基于结构的随机游走算法,可以学习一种基于结构的嵌入,其中每个节点的嵌入取决于其与其他节点的关系,以及其与其他节点的关系的复杂性,以及其与其他节点的关系的稳定性,以及其与其他节点的关系的结构性。
5. AROPE:基于结构的随机游走算法,可以学习一种基于结构的嵌入,其中每个节点的嵌入取决于其与其他节点的关系,以及其与其他节点的关系的复杂性,以及其与其他节点的关系的稳定性,以及其与其他节点的关系的结构性,以及其与其他节点的关系的距离。
14,你是否能想出更科学的随机游走策略?
NO!
15,基于随机游走的图嵌入方法,都可以被统一成什么样的数学形式?
基于随机游走的图嵌入方法可以被统一成一个矩阵分解的数学形式:
X = U * S * V^T
其中,X是图的邻接矩阵,U和V是图嵌入的低维表示,S是图的相似度矩阵。
16,为什么要把图表示成矩阵的形式?
因为矩阵可以更有效地表示图的结构,并且可以使用矩阵运算来更快地计算图的相关性。此外,矩阵还可以用于更有效地存储图的信息,从而更容易地进行图嵌入。