数据分析-(学术前沿趋势分析)-task5

数据分析-(学术前沿趋势分析)-task5

分析

作者关联（数据建模任务），对论文作者关系进行建模，统计最常出现的作者关系。（主要目标数据，作者‘author’）

构建图关系，挖掘作者关系

知识点

1. 拿到数据集，先看下特征量，找到与论文类别相关的特征（作者‘author’）；提取出来处理成常用人名格式’；
2. 用pandas看下数据结构（展示前几行，有个大致轮廓）；
3. 论文第一作者与其他作者构建图；
4. 使用图算法，统计图中作者与其他作者联系；
5. Graph是用点和线来刻画离散事物集合中的每对事物间以某种方式相联系的数学模型。
6. 图!!!
   1. 度：是指和该节点相关联的边的条数，又称关联度。对于有向图，节点的入度 是指进入该节点的边的条数；节点的出度是指从该节点出发的边的条数
   2. 迪杰斯特拉路径：.从一个源点到其它各点的最短路径，可使用迪杰斯特拉算法来求最短路径
   3. 连通图：在一个无向图 G 中，若从顶点i到顶点j有路径相连，则称i和j是连通的。如果 G 是有向图，那么连接i和j的路径中所有的边都必须同向。如果图中任意两点都是连通的，那么图被称作连通图。如果此图是有向图，则称为强连通图
   4. 其他图算法，可以在networkx和igraph两个库中找到

个人需要补充的点

1. 图

Q&A

1. degree_sequence

度序列

Code

#作者关联（数据建模任务），对论文作者关系进行建模，统计最常出现的作者关系
#挖掘作者关系（涉及知识图谱，图关系）
#论文第一作者与其他构建图，计算联系
#作者关联（数据建模任务），对论文作者关系进行建模，统计最常出现的作者关系
#Graph是用点和线来刻画离散事物集合中的每对事物间以某种方式相联系的数学模型
import json
import pandas as pd
import matplotlib.pyplot as plt
data=[]
with open('arxiv-metadata-oai-2019.json','r') as f:
    for idx, line in enumerate(f):
        d = json.loads(line)
        d={'authors_parsed':d['authors_parsed']}
        data.append(d)
data = pd.DataFrame(data)


import networkx as nx
G = nx.Graph()

for row in data.iloc[:5].itertuples():
    authors=row[1]
    authors=[' '.join(x[:-1]) for x in authors]
    
    for author in authors[1:]:
        print(authors[1:])
        G.add_edge(authors[0], author) 

nx.draw(G, with_labels=True)
try:
    print(nx.dijkstra_path(G, 'Rosswog Stephan', 'Podsiadlowski Philipp'))
except:
    print('No path')

print(len(nx.communicability(G)))

degree_sequence = (sorted([d for n, d in G.degree]))
dmax = max(degree_sequence)

plt.loglog(degree_sequence, "b-", marker="o")
plt.title("Degree rank plot")
plt.ylabel("degree")
plt.xlabel("rank")

plt.axes([0.45, 0.45, 0.45, 0.45])
Gcc = G.subgraph(sorted(nx.connected_components(G), key=len, reverse=True)[0])

pos=nx.spring_layout(Gcc)
plt.axis("off")
nx.draw_networkx_nodes(Gcc, pos, node_size=20)
nx.draw_networkx_edges(Gcc, pos, alpha = 0.4)
plt.show()