任务背景和说明
- 学习主题:作者关联(数据建模任务),对论文作者关系进行建模,统计最常出现的作者关系;
- 学习内容:构建作者关系图,挖掘作者关系
- 学习成果:论文作者知识图谱、图关系挖掘
数据处理步骤
- 将论文第一作者与其他作者(论文非第一作者)构建图;
- 使用图算法统计图中作者与其他作者的联系;
社交网络分析
图的定义和应用
图是复杂网络研究中的一个重要概念。
Graph是用点和线来刻画离散事物集合中的每对事物间以某种方式相联系的数学模型。
Graph在现实世界中随处可见,如交通运输图、旅游图、流程图等。
利用图可以描述现实生活中的许多事物,如用点可以表示交叉口,点之间的连线表示路径,这样就可以轻而易举的描绘出一个交通运输网络。
图类型
- 无向图:忽略两节点间的方向
- 有指向图:考虑了边的有向性
- 多重无向图:即两个结点之间的边数多于一条,又允许顶点通过同一条边和自己关联
图统计指标
- 度:是指和该节点相关联的边的条数,又称关联度
- 入度:有向图中进入该节点的边的条数
- 出度:有向图中从该节点出发的边的条数
- 迪杰斯特拉路径:从一个源点到其他个点的最短路径,可使用迪杰斯特拉算法来求最短路径;
- 连通图:
- 有向图:如果 G 是有向图,那么连接i和j的路径中所有的边都必须同向。
- 无向图: 在一个无向图 G 中,若从顶点i到顶点j有路径相连,则称i和j是连通的。
- 如果图中任意两点都是连通的,那么图被称作连通图。
- 如果此图是有向图,则称为强连通图。
- 实现方法:对于其他图算法,可以在networkx和igraph两个库中找到。
具体代码及讲解
读取数据
import pandas as pd
import json
import matplotlib.pylot as plt
data = []
with open('','r') as f:
for idx,line in enumerate(f):
d = json.loads(line)
d = {'author_parsed':d['author_parsed']}
data.append(d)
data = pd.DataFrame(data)
创建作者链接的无向图
import networks as nx
#创建无向图
G = nx.Grapth()
#只用五篇论文进行构建
for row in data.iloc[:5].itertuples():
authors = row[1]
authors = [' '.join(x[:-1]) for x in authors]
#第一个作者与其他作者链接
for author in authors[1:]:
# 添加节点2,3并链接23节点
G.add_edge(authors[0],author)
将作者关系图进行绘制
nx.draw(G,with_labels = True)
得到作者之间的距离
try:
print(nx.dijkstra_path(G, 'Balázs C.', 'Ziambaras Eleni'))
except:
print('no path')
选择最大联通子图进行绘制,折线图为子图节点度值
# 计算论文关系中有多少个联通子图
print(len(nx.communicability(G)))
plt.loglog(degree_sequence,'b-',marker = 'o')
plt.title('degree rank plot')
plt.ylabel('degree')
plt.xlabel('rank')
# draw graph in inset
plt.axes([0.45,0.45,0.45,0.45])
Gcc = G.subgraph(sorted(nx.conneted_components(G),key = len,reverse = True)[0])
pos = nx.spring_layout(Gcc)
plt.axis('off')
nx.draw_networkx_nodes(Gcc,pos,node_size = 20)
nx.draw_networks_edges(Gcc,pos,alpha = 0.4)
plt.show()