链路预测之问题定义及衡量指标

该文章主要参考吕琳媛的《复杂网络链路预测》以及博文《链路预测(Link prediction)中常用的评价指标(evaluation metrics)》。

问题定义及评价指标

  定义$(G,V,E)$ 为一个无向网络，其中$V$为节点集合，$E$为边集合。网络总的节点数为$N$，边数为$M$。该网络共有$\frac{N(N-1)}{2}$个节点对，即全集$U$。

  将已知的连边$E$分为训练集$E^T$和测试集$E^P$ 两部分。从数据集中选取一部分边作为测试集$E^P$，并将这部分边从数据集中删去，由数据集中剩余部分的边作为训练集$E^T$。显然有$E=E^T\cup E^P$，且$E^T\cap E^P=\varnothing$ 。同时，网络中还有一些节点之间并没有边相连，将这些边称为不存在的边。假设在该集合$U-E$中有一些缺失的链接（或将来会出现的链接），链接预测的任务是找出这些链接。

衡量链路预测算法精确度的指标有三种：AUC、Precision、Ranking Score。

1. AUC

  AUC从整体上衡量算法的准确性。链路预测算法在经过训练后可以得到网络中每一对节点的相似值$Sim$（亦即边的相似值）。AUC指标即是基于测试集中边的相似值和不存在的边的相似值的比较（即以不存在的边作为基准）。

  若$Si{m}_{测试}>Si{m}_{不存在}$，则数值的分子加1（此时证明预测效果良好）；
  若$Si{m}_{测试}=Si{m}_{不存在}$，则数值的分子加0.5（此时相当于随机选择）；
  若$Si{m}_{测试}<Si{m}_{不存在}$，则数值的分子加0（此时预测效果非常差）。

  数值的分母则是测试集中的边的相似值与不存在的边的相似值比较的次数。

  AUC指标即为数值分子与数值分母的比值，AUC大于0.5的程度衡量了算法在多大程度上优于随机选择的算法。

2. Precision

  Precision只考虑前$L$位的边是否预测准确。链路预测算法经过训练后会得到节点对之间的相似值，去除训练集$E^T$中的边，仅将测试集 $E^P$和不存在的边集合中的边的相似值进行排序，排序后取前$L$个。假设$L$个中有$N$个属于测试集，那么Precision值为$\frac{N}{L}$。

3. Ranking Score

  Ranking Score只考虑所测试的边的排序。令$H=U-E^T$为未知边的集合（即测试集中的边和不存在的边的集合构成的集合），$r_i$表示未知边 $i\in E^P$在排序中的排名，则该条未知边的Ranking Score(RS)值为$R{S}_i=\frac{r_i}{|H|}$, $|H|$为$H$中的元素个数。遍历所有在测试集中的边，得到算法的$RS$值为$RS=\frac{1}{|E^P|}{\sum }_{i\in E^P}^{}R{S}_i=\frac{1}{|E^P|}{\sum }_{i\in E^P}^{}\frac{r_i}{|H|}$.


  以上三个指标主要以AUC为主，在AUC基本相同的情况下，可以再以Precision作为标准衡量算法精确度。