DeepWalk 原理详解

goTsHgo

已于 2024-12-31 12:09:47 修改

阅读量1.4k

点赞数 20

分类专栏：人工智能机器学习文章标签：机器学习人工智能

于 2024-12-24 16:14:24 首次发布

本文链接：https://blog.csdn.net/goTsHgo/article/details/144696009

版权

机器学习同时被 2 个专栏收录

40 篇文章

订阅专栏

人工智能

28 篇文章

订阅专栏

概述：

DeepWalk 是一种流行的图嵌入方法，用于学习图结构数据中节点的低维表示。它通过将图的节点视作序列数据，利用自然语言处理中的技术（类似于word2vec算法）来捕捉节点间的关系，可以帮助我们理解和利用图中节点的关系。这种方法在社交网络分析、推荐系统、图分类等领域非常有用。在图中，节点可以是人、地点、物品等，而边表示它们之间的关系，例如朋友关系、道路连接等。

原因：

在许多实际问题中，我们需要对图形结构的数据进行分析和预测。例如，在社交网络中，我们可能想预测哪些人可能成为朋友。这些图通常非常大且复杂，直接分析它们既困难又低效。DeepWalk 通过将图中的节点转换为向量（一组数字），这些向量捕获了节点之间的关系，使得我们可以使用传统的机器学习方法来分析图。

一、DeepWalk的核心思想

DeepWalk算法基于这样的假设：图中经常一起出现的节点相似度较高。其核心思想是利用随机游走（Random Walks）在图中生成节点序列，然后使用类似于自然语言处理中的word2vec模型来学习这些序列的嵌入表示。

二、DeepWalk的详细步骤

1. 随机游走

DeepWalk首先对图进行多次随机游走，以每个节点为起点，随机选择其邻接节点进行转移，如此重复若干步。这种方式生成的节点序列捕获了图的局部结构信息。（随机游走帮助我们探索图中的局部结构，通过多次随机游走，我们能够从多个角度观察节点的连接关系。）

随机游走算法伪代码：

function RandomWalk(Graph, start_node, walk_length):
    walk = [start_node]
    for i in range(1, walk_length):
        current = walk[-1]
        neighbors = Graph.get_neighbors(current)
        next_node = random.choice(neighbors)
        walk.append(next_node)
    return walk

2. 序列学习：使用类Word2Vec模型

生成的随机游走序列类似于文本中的句子，节点类似于单词。DeepWalk使用word2vec中的Skip-gram模型来学习节点的向量表示。Skip-gram模型的目标是最大化观测到的节点序列中节点的共现概率。

Skip-gram 模型试图根据一个节点预测其上下文节点。这背后的直觉是，如果两个节点经常在随机游走的路径中一起出现，那么它们在图中的关系应该是接近的。通过优化这个预测过程，模型学习到的节点表示就能够捕捉节点间的这种相似性。

Skip-gram模型的目标函数：

$max \sum_{v \in V} \sum_{u \in C(v)} log P(u|v)$

其中，V 是图中的节点集合，C(v) 是节点v在随机游走序列中的上下文节点集合，P(u∣v) 是在给定节点v的情况下观察到节点u的概率，通常使用softmax函数定义。

$P(u|v) = \frac{exp(\overrightarrow{u} * \overrightarrow{v})}{\sum_{w\in V}^{}exp(\overrightarrow{w} * \overrightarrow{v})}$

3. 优化

利用梯度上升法更新节点的嵌入向量，以最大化上述目标函数。通常使用随机梯度上升（SGD）或者其变体进行优化。

优化过程：具体来说，模型通过调整节点向量来提高其预测上下文节点的概率。这个过程需要大量的计算，通常使用梯度下降法来完成。

想象你在一个巨大的聚会上，你通过随机地与人打招呼来了解与你有相似兴趣的人。DeepWalk 算法类似于这个过程：通过“随机游走”，它在图中“探索”，并通过这种探索来学习哪些节点（或人）经常一起出现。然后，它将这些信息转换为数学上的向量，这些向量可以用来预测如好友关系等图中的属性。

总的来说，DeepWalk 是一种强大的方法，可以将复杂的图结构转化为简单的数值形式，这样就可以使用现有的数据科学工具和方法来解决实际问题。

使用场景：

社交网络分析：预测用户的社交关系，比如好友推荐。
推荐系统：基于用户和产品的图结构关系来推荐产品。
信息传播：预测新闻、谣言等信息在网络中的传播路径。
生物信息学：例如，预测蛋白质之间的相互作用。

三、源代码层面实现

以下是用Python实现DeepWalk算法的简化版本，假设已经有了图结构和基本的库函数：

import random
import numpy as np
from gensim.models import Word2Vec

class DeepWalk:
    def __init__(self, graph, walk_length, num_walks, dimensions, window_size, epochs):
        self.graph = graph
        self.walk_length = walk_length
        self.num_walks = num_walks
        self.dimensions = dimensions
        self.window_size = window_size
        self.epochs = epochs

    def random_walk(self, start_node):
        walk = [start_node]
        for _ in range(1, self.walk_length):
            current = walk[-1]
            neighbors = self.graph.get_neighbors(current)
            if neighbors:
                next_node = random.choice(neighbors)
                walk.append(next_node)
            else:
                break
        return walk

    def simulate_walks(self):
        walks = []
        for node in self.graph.nodes():
            for _ in range(self.num_walks):
                walks.append(self.random_walk(node))
        return walks

    def learn_embeddings(self, walks):
        model = Word2Vec(sentences=walks, vector_size=self.dimensions, window=self.window_size, min_count=0, sg=1, epochs=self.epochs)
        return model.wv

    def execute(self):
        walks = self.simulate_walks()
        walks = [[str(node) for node in walk] for walk in walks]  # 转换为字符串，因为Word2Vec需要字符串输入
        embeddings = self.learn_embeddings(walks)
        return embeddings

# 示例使用
graph = ... # 假设已经定义了图结构和邻接关系
deepwalk = DeepWalk(graph, walk_length=10, num_walks=80, dimensions=64, window_size=5, epochs=10)
embeddings = deepwalk.execute()

四、总结

DeepWalk是通过随机游走在图中采样节点序列，并使用类似word2vec的方法学习这些序列中节点的嵌入向量。这种方法有效地将图数据转换为可用于各种机器学习任务的数值表示形式，特别是在没有明确节点特征的情况下。通过这种技术，我们能够利用节点的结构上下文信息，从而在诸如节点分类、链接预测和社区发现等任务上取得良好的效果。