图数据集之cora数据集介绍- 用pyton处理 - 可用于GCN任务

cora数据集- 下载地址

https://linqs-data.soe.ucsc.edu/public/lbc/cora.tgz

cora数据集- 内容介绍

• 样本特征，标签，邻接矩阵
  该数据集共2708个样本点，每个样本点都是一篇科学论文，所有样本点被分为8个类别，类别分别是1）基于案例；2）遗传算法；3）神经网络；4）概率方法；5）强化学习；6）规则学习；7）理论

  每篇论文都由一个1433维的词向量表示，所以，每个样本点具有1433个特征。词向量的每个元素都对应一个词，且该元素只有0或1两个取值。取0表示该元素对应的词不在论文中，取1表示在论文中。所有的词来源于一个具有1433个词的字典。

  每篇论文都至少引用了一篇其他论文，或者被其他论文引用，也就是样本点之间存在联系，没有任何一个样本点与其他样本点完全没联系。如果将样本点看做图中的点，则这是一个连通的图，不存在孤立点。

• 文件格式

  下载的压缩包中有三个文件，分别是cora.cites，cora.content，README。

  README是对数据集的介绍；cora.content是所有论文的独自的信息；cora.cites是论文之间的引用记录。

  cora.content共有2708行，每一行代表一个样本点，即一篇论文。如下所示，每一行由三部分组成，分别是论文的编号，如31336；论文的词向量，一个有1433位的二进制；论文的类别，如Neural_Networks。

  31336	0	0.....	0	0	0	0	0	0	0	0	0	0	0	0	Neural_Networks
  1061127	0	0.....	0	0	0	0	0	0	0	0	0	0	0	0	Rule_Learning
  1106406	0	0.....	0	0	0	0	0	0	0	0	0	0	0	Reinforcement_Learning
  

  cora.cites共5429行， 每一行有两个论文编号，表示第一个编号的论文先写，第二个编号的论文引用第一个编号的论文。如下所示：

  35	1033
  35	103482
  35	103515
  

  如果将论文看做图中的点，那么这5429行便是点之间的5429条边。

  cora数据集- 用python处理

• 用python导入数据，并分离样本特征，标签，创建邻接矩阵

1.导入数据

import pandas as pd
import numpy as np
# 导入数据：分隔符为空格
raw_data = pd.read_csv('data/cora/cora.content',sep = '\t',header = None)
num = raw_data.shape[0] # 样本点数2708

2.将论文的编号转化为[0,2707]

# 将论文的编号转[0,2707]
a = list(raw_data.index)
b = list(raw_data[0])
c = zip(b,a)
map = dict(c)

3.提取词向量，成为特征矩阵

# 将词向量提取为特征,第二行到倒数第二行
features =raw_data.iloc[:,1:-1]
 # 检查特征：共1433个特征，2708个样本点
print(features.shape) 

4.提取标签，进行独热编码

labels = pd.get_dummies(raw_data[1434])
print(labels.head(3))

标签的前3行如下：

   Case_Based  Genetic_Algorithms  Neural_Networks  Probabilistic_Methods  \
0           0                   0                1                      0   
1           0                   0                0                      0   
2           0                   0                0                      0   

   Reinforcement_Learning  Rule_Learning  Theory  
0                       0              0       0  
1                       0              1       0  
2                       1              0       0  

5.导入论文引用数据

raw_data_cites = pd.read_csv('data/cora/cora.cites',sep = '\t',header = None)

6. 创建邻接矩阵

# 创建一个规模和邻接矩阵一样大小的矩阵
matrix = np.zeros((num,num))
# 创建邻接矩阵
for i ,j in zip(raw_data_cites[0],raw_data_cites[1]):
    x = map[i] ; y = map[j]  #替换论文编号为[0,2707]
    matrix[x][y] = matrix[y][x] = 1 #有引用关系的样本点之间取1
# 查看邻接矩阵的元素和（按每列汇总）
print(sum(matrix))

参考

https://www.jianshu.com/p/47425c02d779