【数据分析 05】完结篇 作者信息关联

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、预备工作

任务说明

1.学习主题：作者关联（数据建模任务），对论⽂作者关系进⾏建模，统计最常出现的作者关系；
2.学习内容：构建作者关系图，挖掘作者关系
3.学习成果：论⽂作者知识图谱、图关系挖掘

相关知识

1.社交⽹络分析

图是复杂⽹络研究中的⼀个重要概念。Graph是⽤点和线来刻画离散事物集合中的每对事物间以某种⽅式相联系的数学模型。Graph在现实世界中随处可⻅，如交通运输图、旅游图、流程图等。利⽤图可以描述现实⽣活中的许多事物，如⽤点可以表示交叉⼝，点之间的连线表示路径，这样就可以轻⽽易举的描绘出⼀个交通运输⽹络

2.图类型

⽆向图，忽略了两节点间边的⽅向。
指有向图，考虑了边的有向性。
多重⽆向图，即两个结点之间的边数多于⼀条，⼜允许顶点通过同⼀条边和⾃⼰关联。

3.图统计指标

度：是指和该节点相关联的边的条数，⼜称关联度。对于有向图，节点的⼊度 是指进⼊该节点的边的条数；节点的出度是指从该节点出发的边的条数；
迪杰斯特拉路径：.从⼀个源点到其它各点的最短路径，可使⽤迪杰斯特拉算法来求最短路径；
连通图：在⼀个⽆向图 G 中，若从顶点i到顶点j有路径相连，则称i和j是连通的。如果 G 是有向图，那么连接i和j的路径中所有的边都必须同向。如果图中任意两点都是连通的，那么图被称作连通图。如果此图是有向图，则称为强连通图。

二、数据操作

以下基于python 3.8 jupyter notebook 环境运行

1.引入库

# 导⼊所需的package
import seaborn as sns #⽤于画图
from bs4 import BeautifulSoup #⽤于爬取arxiv的数据
import re #⽤于正则表达式，匹配字符串的模式
import requests #⽤于⽹络连接，发送⽹络请求，使⽤域名获取对应信息
import json #读取数据，我们的数据为json格式的
import pandas as pd #数据处理，数据分析
import matplotlib.pyplot as plt #画图⼯具

2.读入数据

#读取数据
data = [] #初始化
file_path = r"C:\Users\monster\Desktop\Data King\archive\arxiv-metadata-oai-snapshot.json"
with open(file_path,'r') as f:
    for idx,line in enumerate(f):
        d = json.loads(line)
        d = {'authors_parsed':d['authors_parsed']}
        data.append(d)
        
data = pd.DataFrame(data)

data

3.数据处理

Ⅰ创建无向图

import networkx as nx
# 创建⽆向图
G = nx.Graph()
# 只⽤五篇论⽂进⾏构建
for row in data.iloc[:5].itertuples():
    authors = row[1]    
    authors1 = [' '.join(x[:-1]) for x in authors]   #去除每行末尾的空元素拼接字符串并合并到一个list
    print(type(row))
    print('~~~'*10)
    print(authors)
    print('---'*10)
    print(authors1)

下面是完整代码

import networkx as nx
# 创建⽆向图
G = nx.Graph()
# 只⽤五篇论⽂进⾏构建
for row in data.iloc[:5].itertuples():
 	authors = row[1]
 	authors = [' '.join(x[:-1]) for x in authors]

 # 第⼀个作者 与 其他作者链接
 for author in authors[1:]:
	 G.add_edge(authors[0],author) #　添加节点２，３并链接２３节点

Ⅱ绘制作者关系图

nx.draw(G, with_labels=True)

当取前50篇论文时，隐藏标签，作图如下：

当取前500篇论文时，隐藏标签，作图如下：

可以发现一个定律：地球是圆的，万物皆是。哈哈哈，这图有点像细胞

Ⅲ 得到作者之间的距离

try:
 print(nx.dijkstra_path(G, 'Balázs C.','Berger E. L.'))
 print(nx.dijkstra_path(G, 'Balázs C.','Ziambaras Eleni'))
except:
 print('No path')

Ⅳ 500篇论文构建图

如果我们500⽚论⽂构建图，则可以得到更加完整作者关系，并选择最⼤联通⼦图进⾏绘制，折线图为⼦图节点度值。

# 计算论⽂关系中有多少个联通⼦图 (五篇论文）
print(len(nx.communicability(G)))

#输出：8

作图：

degree_sequence = sorted([d for n, d in G.degree()], reverse=True)
dmax = max(degree_sequence)

plt.loglog(degree_sequence, "b-", marker="o")
plt.title("Degree rank plot")
plt.ylabel("degree")
plt.xlabel("rank")

# draw graph in inset
plt.axes([0.45, 0.45, 0.45, 0.45])
Gcc = G.subgraph(sorted(nx.connected_components(G), key=len, reverse=True)[0])

pos = nx.spring_layout(Gcc)
plt.axis("off")
nx.draw_networkx_nodes(Gcc, pos, node_size=20)
nx.draw_networkx_edges(Gcc, pos, alpha=0.4)
plt.show()

当论文数量为50时，作图如下

---

总结

1.itertuples()对dataframe进行遍历

iterrows(): 将DataFrame迭代为(index, Series)对。
itertuples(): 将DataFrame迭代为元组。
iteritems(): 将DataFrame迭代为(列名, Series)对

import pandas as pd

inp = [{'c1':10, 'c2':100}, {'c1':11, 'c2':110}, {'c1':12, 'c2':123}]
df = pd.DataFrame(inp)

print(df)
#输出：  
   c1   c2
0  10  100
1  11  110
2  12  123

#df.iterrows
for date, row in df.iterrows():
    print(date)
    print('---'*10)
    print(row[:)
    print('---'*10)
#输出
0
------------------------------
c1     10
c2    100
Name: 0, dtype: int64
------------------------------
1
------------------------------
c1     11
c2    110
Name: 1, dtype: int64
------------------------------
2
------------------------------
c1     12
c2    123
Name: 2, dtype: int64
------------------------------

#itertuples
for row in df.itertuples():
    print(row)
    print('---'*10)
    print(getattr(row, 'c1'), getattr(row, 'c2'))
    print('---'*10)
#输出：
Pandas(Index=0, c1=10, c2=100)
------------------------------
10 100
------------------------------
Pandas(Index=1, c1=11, c2=110)
------------------------------
11 110
------------------------------
Pandas(Index=2, c1=12, c2=123)
------------------------------
12 123

参考资料

1. iterrows(), iteritems(), itertuples()对dataframe进行遍历https://www.cnblogs.com/keye/p/9673393.html