Untitled18

任务说明

  • 学习主题:作者关联(数据建模任务),对论⽂作者关系进⾏建模,统计最常出现的作者关系;
  • 学习内容:构建作者关系图,挖掘作者关系
  • 学习成果:论⽂作者知识图谱、图关系挖掘

数据处理步骤

将作者列表进⾏处理,并完成统计。具体步骤如下:

  • 将论⽂第⼀作者与其他作者(论⽂⾮第⼀作者)构建图;
  • 使⽤图算法统计图中作者与其他作者的联系;

社交⽹络分析

图是复杂⽹络研究中的⼀个重要概念。 Graph是⽤点和线来刻画离散事物集合中的每对事物间以某种⽅
式相联系的数学模型。 Graph在现实世界中随处可⻅,如交通运输图、旅游图、流程图等。利⽤图可以
描述现实⽣活中的许多事物,如⽤点可以表示交叉⼝,点之间的连线表示路径,这样就可以轻⽽易举的
描绘出⼀个交通运输⽹络。

图类型

  • ⽆向图,忽略了两节点间边的⽅向。
  • 指有向图,考虑了边的有向性。
  • 多重⽆向图,即两个结点之间的边数多于⼀条,⼜允许顶点通过同⼀条边和⾃⼰关联

图统计指标

  • 度:是指和该节点相关联的边的条数,⼜称关联度。对于有向图,节点的⼊度 是指进⼊该节点的边的条数;节点的出度是指从该节点出发的边的条数;
  • 迪杰斯特拉路径: .从⼀个源点到其它各点的最短路径,可使⽤迪杰斯特拉算法来求最短路径;
  • 连通图:在⼀个⽆向图 G 中,若从顶点i到顶点j有路径相连,则称i和j是连通的。如果 G 是有向图,那么连接i和j的路径中所有的边都必须同向。如果图中任意两点都是连通的,那么图被称作连通图。如果此图是有向图,则称为强连通图。

对于其他图算法,可以在networkx和igraph两个库中找到。

具体代码以及讲解

⾸先读取我们想要的数据:

import seaborn as sns #用于画图
from bs4 import BeautifulSoup #用于爬取arxiv的数据
import re #用于正则表达式,匹配字符串的模式
import requests #用于网络连接,发送网络请求,使用域名获取对应信息(用于封装http)
import json #读取数据,我们的数据为json格式的
import pandas as pd #数据处理,数据分析
import matplotlib.pyplot as plt #画图工具
data = [] #初始化
#使⽤with语句优势: 1.⾃动关闭⽂件句柄; 2.⾃动显示(处理)⽂件读取数据异常
with open("arxiv-metadata-oai-2019.json", 'r') as f:
    for idx, line in enumerate(f):
        d = json.loads(line)
        d = {'authors_parsed': d['authors_parsed']}
        data.append(d)
data = pd.DataFrame(data) #将list变为dataframe格式,⽅便使⽤pandas进⾏分析

创建作者链接的⽆向图

import networkx as nx
# 创建⽆向图
G = nx.Graph()
# 只⽤五篇论⽂进⾏构建
for row in data.iloc[:5].itertuples():
    authors = row[1]
    authors = [' '.join(x[:-1]) for x in authors]
# 第⼀个作者 与 其他作者链接
for author in authors[1:]:
    G.add_edge(authors[0],author) # 添加节点2,3并链接23节点

将作者关系图进⾏绘制:

nx.draw(G, with_labels=True)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ivgZ1fBD-1611552204726)(output_17_0.png)]

得到作者之间的距离:

try:
    print(nx.dijkstra_path(G, 'Balázs C.', 'Ziambaras Eleni'))
except:
    print('No path')
No path

如果我们500⽚论⽂构建图,则可以得到更加完整作者关系,并选择最⼤联通⼦图进⾏绘制,折线图为
⼦图节点度值。

# 计算论⽂关系中有多少个联通⼦图
degree_sequence=sorted([d for n,d in G.degree()],reverse=True)
dmax=max(degree_sequence)
print(len(nx.communicability(G)))
#plt.loglog(degree_sequence, "b-", marker="o")
plt.title("Degree rank plot")
plt.ylabel("degree")
plt.xlabel("rank")
# draw graph in inset
plt.axes([0.45, 0.45, 0.45, 0.45])
Gcc = G.subgraph(sorted(nx.connected_components(G), key=len, reverse=True)[0])
pos = nx.spring_layout(Gcc)
plt.axis("off")
nx.draw_networkx_nodes(Gcc, pos, node_size=20)
nx.draw_networkx_edges(Gcc, pos, alpha=0.4)
plt.show()
3

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aJI7CNb8-1611552204728)(output_21_1.png)]


已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 数字20 设计师:CSDN官方博客 返回首页