图学习中的链路预测任务（持续更新ing...）

原创已于 2024-01-01 11:05:20 修改 · 4.8k 阅读

36 ·

CC 4.0 BY-SA版权

文章标签：

#GNN #链路预测 #图神经网络 #神经网络 #深度学习

于 2022-10-31 21:05:20 首次发布

人工智能学习笔记专栏收录该内容

276 篇文章

订阅专栏

诸神缄默不语-个人CSDN博文目录

本文将对图学习中的链路预测任务进行系统性的介绍。

文章目录

1. 问题定义
2. 研究方法
3. 链路预测工作分类和应用
4. 正文及脚注中未提及的其他参考资料
5. 待更新（flag）

1. 问题定义

早期论文，证明链路预测任务的重要性：(2003 CIKM) The Link-Prediction Problem for Social Networks¹

2. 研究方法

2.1 基于图中结构相似性的链路预测

在社交网络中可能符合这一假设，在PPI网络中可能不符（有很多共同邻居的蛋白质相连（interact）可能性更低）²

2.1.1 基于局部信息的相似性指标

在这里插入图片描述

共同邻居 Common neighbors
直接基于共同邻居指标的不同的规范化而得到的， $k (x) = ∣Γ (x) ∣$ 为节点x的度

2.1.2 基于路径的相似性指标

2.1.3 基于随机游走的节点相似性指标

2.2 基于似然分析的链路预测

2.3 基于机器学习的链路预测

2.4 进行节点表征，用节点表征相似性实现链路预测：不同的相似度

一般范式是首先进行节点表征（可以有监督或无监督，解耦或耦合），然后用相似度度量指标（一般用点积或余弦相似度），用这个得分作为二分类（是否连边）任务的得分。

2.4.1 通用节点表征工作

使用余弦相似度的工作：

GATNE³

使用内积的工作：

VGAE⁴

（对取出的边还要分别过sigmoid，在本博文中略）

G2G⁵使用KL散度（这个是无监督节点表征模型，本来就以KL散度为基础建立的损失函数）
在这里插入图片描述

2.4.2 链路预测工作

DEAL⁶则是几种距离都测试过（点积/余弦相似度/欧氏距离），在论文中说余弦相似度效果最好（以下代码摘自https://github.com/working-yuhao/DEAL/blob/master/model.py：

class Hidden_Layer(nn.Module): #Hidden Layer, Binary classification
        
    def __init__(self, emb_dim, device,BCE_mode, mode='all', dropout_p = 0.3):
        super(Hidden_Layer, self).__init__()
        self.emb_dim = emb_dim
        self.mode = mode
        self.device = device
        self.BCE_mode = BCE_mode
        self.Linear1 = nn.Linear(self.emb_dim*2, self.emb_dim).to(self.device)
        self.Linear2 = nn.Linear(self.emb_dim, 32).to(self.device)
        x_dim = 1
        self.Linear3 = nn.Linear(32, x_dim).to(self.device)
        if self.mode == 'all':
            if self.BCE_mode:
                self.linear_output = nn.Linear(x_dim+ 3, 1).to(self.device)
            else:
                self.linear_output = nn.Linear(x_dim+ 3, 2).to(self.device)
        else:
            self.linear_output = nn.Linear(1, 2).to(self.device) 
            self.linear_output.weight.data[1,:] = 1
            self.linear_output.weight.data[0,:] = -1

        self.cos = nn.CosineSimilarity(dim=1, eps=1e-6)
        self.pdist = nn.PairwiseDistance(p=2,keepdim=True)       
        self.softmax = nn.Softmax(dim=1)
        self.elu = nn.ELU()
        assert (self.mode in ['all','cos','dot','pdist']),"Wrong mode type"


    def forward(self, f_embs, s_embs):

        if self.mode == 'all':
            x = torch.cat([f_embs,s_embs],dim=1)
            x = F.rrelu(self.Linear1(x))
            x = F.rrelu(self.Linear2(x))
            x = F.rrelu(self.Linear3(x))
            cos_x = self.cos(f_embs,s_embs).unsqueeze(1)
            dot_x = torch.mul(f_embs,s_embs).sum(dim=1,keepdim=True)
            pdist_x = self.pdist(f_embs,s_embs)
            x = torch.cat([x,cos_x,dot_x,pdist_x],dim=1)
        elif self.mode == 'cos':
            x = self.cos(f_embs,s_embs).unsqueeze(1)
        elif self.mode == 'dot':
            x = torch.mul(f_embs,s_embs).sum(dim=1,keepdim=True)
        elif self.mode == 'pdist':
            x = self.pdist(f_embs,s_embs)

        if self.BCE_mode:
            return x.squeeze()
            # return (x/x.max()).squeeze()
        else:
            x = self.linear_output(x)
            x = F.rrelu(x)
            # x = torch.cat((x,-x),dim=1)
            return x
    
    def evaluate(self, f_embs, s_embs):
        if self.mode == 'all':
            x = torch.cat([f_embs,s_embs],dim=1)
            x = F.rrelu(self.Linear1(x))
            x = F.rrelu(self.Linear2(x))
            x = F.rrelu(self.Linear3(x))
            cos_x = self.cos(f_embs,s_embs).unsqueeze(1)
            dot_x = torch.mul(f_embs,s_embs).sum(dim=1,keepdim=True)
            pdist_x = self.pdist(f_embs,s_embs)
            x = torch.cat([x,cos_x,dot_x,pdist_x],dim=1)
        elif self.mode == 'cos':
            x = self.cos(f_embs,s_embs)
        elif self.mode == 'dot':
            x = torch.mul(f_embs,s_embs).sum(dim=1)
        elif self.mode == 'pdist':
            x = -self.pdist(f_embs,s_embs).squeeze()
        return 



#（DEAL模型中，三个layer分别是上面那个类的实例）
def evaluate(self, nodes,data, lambdas=(1,1,1)):
   
    node_emb = self.node_emb(torch.arange(self.node_num).to(self.device)) 
    first_embs = node_emb[nodes[:,0]]
    sec_embs = node_emb[nodes[:,1]]
    res = self.node_layer(first_embs,sec_embs) * lambdas[0]

    node_emb = self.attr_emb(data)
    first_embs = node_emb[nodes[:,0]]
    sec_embs = node_emb[nodes[:,1]]
    res = res + self.attr_layer(first_embs,sec_embs)* lambdas[1]

    first_nodes = nodes[:,0]
    first_embs = self.attr_emb(data)[first_nodes]
    sec_embs = self.node_emb(torch.LongTensor(nodes[:,1]).to(self.device))
    res = res + self.inter_layer(first_embs,sec_embs)* lambdas[2]

    return res

2.5 其他

利用子图结构
1. WLNM：将所有子图切成相同大小输入全连接神经网络
2. SEAL⁷：学习启发式方法（利用子图、浅嵌入和特征）

3. 链路预测工作分类和应用

将链路预测任务作为无监督图表征学习的训练任务（可能说是自监督学习任务更合适）（在原论文中，是在baseline中用到了有监督图表征学习方法HAN，用链路预测来作为无监督训练的任务）：(2022 SDM) Structure-Enhanced Heterogeneous Graph Contrastive Learning
inductive场景可用的模型
1. G2G⁴：将节点特征表征到高斯分布上，用节点邻居跳数来做ranking loss
2. DEAL⁶：将节点的特征信息和结构信息分别表征，在训练时用对比学习损失函数实现匹配，在测试时仅需新节点的特征信息就能实现链路预测