DataWhale数据分析组队学习——Day7

DataWhale数据分析组队学习——Day7

前言

今天学习的内容是学术前沿分析的Task5——作者信息关联.具体任务如下：

• 学习主题：作者关联（数据建模任务），对论⽂作者关系进⾏建模，统计最常出现的作者关系；
• 学习内容：构建作者关系图，挖掘作者关系
• 学习成果：论⽂作者知识图谱、图关系挖掘

社交⽹络分析

图是复杂⽹络研究中的⼀个重要概念。Graph是⽤点和线来刻画离散事物集合中的每对事物间以某种⽅式相联系的数学模型。Graph在现实世界中随处可⻅，如交通运输图、旅游图、流程图等。利⽤图可以描述现实⽣活中的许多事物，如⽤点可以表示交叉⼝，点之间的连线表示路径，这样就可以轻⽽易举的描绘出⼀个交通运输⽹络。

图类型

• ⽆向图，忽略了两节点间边的⽅向.
• 指有向图，考虑了边的有向性.
• 多重⽆向图，即两个结点之间的边数多于⼀条，⼜允许顶点通过同⼀条边和⾃⼰关联.

图统计指标

• 度：是指和该节点相关联的边的条数，⼜称关联度。对于有向图，节点的⼊度 是指进⼊该节点的边
  的条数；节点的出度是指从该节点出发的边的条数；
• 迪杰斯特拉路径：.从⼀个源点到其它各点的最短路径，可使⽤迪杰斯特拉算法来求最短路径；
• 连通图：在⼀个⽆向图 G 中，若从顶点i到顶点j有路径相连，则称i和j是连通的。如果 G 是有向
  图，那么连接i和j的路径中所有的边都必须同向。如果图中任意两点都是连通的，那么图被称作连
  通图。如果此图是有向图，则称为强连通图。

数据处理步骤

将作者列表进⾏处理，并完成统计。具体步骤如下：

• 将论⽂第⼀作者与其他作者（论⽂⾮第⼀作者）构建图；
• 使⽤图算法统计图中作者与其他作者的联系；

具体代码如下

⾸先读取我们想要的数据：

import json #读取数据，我们的数据为json格式的
import pandas as pd #数据处理，数据分析

data = [] #初始化
#使用with语句优势：1.自动关闭文件句柄；2.自动显示（处理）文件读取数据异常
with open("arxiv-metadata-oai-2019.json", 'r') as f:
	for idx, line in enumerate(f):
		d = json.loads(line)
		d = {'authors_parsed': d['authors_parsed']}
		data.append(d)

data = pd.DataFrame(data) #将list变为dataframe格式，方便使用pandas进行分析

创建作者链接的⽆向图：

#创建作者链接的无向图：
import networkx as nx
# 创建无向图
G = nx.Graph()
# 只用五篇论文进行构建
for row in data.iloc[:5].itertuples():
	authors = row[1]
	authors = [' '.join(x[:-1]) for x in authors]

 # 第一个作者与其他作者链接
	for author in authors[1:]:
		G.add_edge(authors[0],author) #　添加节点２，３并链接２３节点

将作者关系图进⾏绘制：

nx.draw(G, with_labels=True)
plt.show()

如下图所示：

得到作者之间的距离：

try:
	print(nx.dijkstra_path(G, 'Balázs C.', 'Ziambaras Eleni'))
except:
	print('No path')

这里未能得到结果.
如果我们500篇论⽂构建图，则可以得到更加完整作者关系，并选择最⼤联通⼦图进⾏绘制，折线图为⼦图节点度值。

# 计算论文关系中有多少个联通子图
print(len(nx.communicability(G)))
plt.loglog(degree_sequence, "b-", marker="o")
plt.title("Degree rank plot")
plt.ylabel("degree")
plt.xlabel("rank")
# draw graph in inset
plt.axes([0.45, 0.45, 0.45, 0.45])
Gcc = G.subgraph(sorted(nx.connected_components(G), key=len, reverse=True)[0])
pos = nx.spring_layout(Gcc)
plt.axis("off")
nx.draw_networkx_nodes(Gcc, pos, node_size=20)
nx.draw_networkx_edges(Gcc, pos, alpha=0.4)
plt.show()

这里degree_sequence未定义.

总结

最后这一部分内容出错的地方比较多，下一步的想法是尽可能的去搞清楚整个任务的baseline.今天到此就结束了.