DataWhale数据分析打卡营
开源内容
1. 研究目的
统计arXiv数据集中出现次数TOP10的论文作者
在上一篇博客中已经详细介绍过arXiv数据集↓
- Kaggle上的一个数据集,可以理解为计算机领域论文信息库。
- 是一个有很多行的表,每一行代表一篇论文,记录每一篇论文的作者、标签、发表年份等信息。
2. 主要内容
这次做的内容非常简单。
代码来自Datawhale开源内容,只做了重新编排,非原创…
(1)读取数据
因为数据集较大,所以读取前100000条记录。
本Task只需要作者信息,所以只从数据集中读取了4列。
import json #读取数据,我们的数据为json格式的
import pandas as pd #数据处理,数据分析
def readArxivFile(path, columns=['id', 'submitter', 'authors', 'title', 'comments', 'journal-ref', 'doi',
'report-no', 'categories', 'license', 'abstract', 'versions',
'update_date', 'authors_parsed'], count=None):
'''
定义读取文件的函数
path: 文件路径
columns: 需要选择的列
count: 读取行数
'''
data = []
with open(path, 'r') as f:
for idx, line in enumerate(f):
if idx == count:
break
d = json.loads(line)
d = {col : d[col] for col in columns}
data.append(d)
data = pd.DataFrame(data)
return data
data = readArxivFile('arxiv-metadata-oai-snapshot.json', ['id', 'authors', 'categories', 'authors_parsed'], 100000)
(2)预处理论文作者姓名
authors_parsed列是authors列预处理之后得到的,同一个作者的名和姓放在一个列表中,不同作者的姓名放在不同列表中,再构成更大的列表。
e.g.
authors: Harry Potter, Sheldon Cooper
authors_parsed: [[Potter, Harry], [Cooper, Sheldon]]
拼接作者姓名,把author_parsed列所有的元素(也即列表)连接起来就好啦
all_authors = sum(data2['authors_parsed'], [])
(3)统计频率并作图
a. 统计姓+名的频率:
# 拼接所有的作者
authors_names = [' '.join(x) for x in all_authors]
authors_names = pd.DataFrame(authors_names)
# 根据作者频率绘制直方图
plt.figure(figsize=(10, 6))
authors_names[0].value_counts().head(10).plot(kind='barh')
b. 统计姓的频率:
# 拼接所有的作者
authors_lastnames = [x[0] for x in all_authors]
authors_lastnames = pd.DataFrame(authors_lastnames)
# 根据姓名频率绘制直方图
plt.figure(figsize=(10, 6))
authors_lastnames[0].value_counts().head(10).plot(kind='barh')
yysy,同名同姓咋办?
以及,这个task的现实意义是?希望在后面的task中能够得以证明