学术前沿趋势分析Task2：论文作者统计

DataWhale数据分析打卡营
开源内容

1. 研究目的

统计arXiv数据集中出现次数TOP10的论文作者

在上一篇博客中已经详细介绍过arXiv数据集↓

• Kaggle上的一个数据集，可以理解为计算机领域论文信息库。
• 是一个有很多行的表，每一行代表一篇论文，记录每一篇论文的作者、标签、发表年份等信息。

2. 主要内容

这次做的内容非常简单。
代码来自Datawhale开源内容，只做了重新编排，非原创…

（1）读取数据

因为数据集较大，所以读取前100000条记录。
本Task只需要作者信息，所以只从数据集中读取了4列。

import json #读取数据，我们的数据为json格式的
import pandas as pd #数据处理，数据分析

def readArxivFile(path, columns=['id', 'submitter', 'authors', 'title', 'comments', 'journal-ref', 'doi',
       'report-no', 'categories', 'license', 'abstract', 'versions',
       'update_date', 'authors_parsed'], count=None):
    '''
    定义读取文件的函数
        path: 文件路径
        columns: 需要选择的列
        count: 读取行数
    '''
    
    data  = []
    with open(path, 'r') as f: 
        for idx, line in enumerate(f): 
            if idx == count:
                break
                
            d = json.loads(line)
            d = {col : d[col] for col in columns}
            data.append(d)

    data = pd.DataFrame(data)
    return data

data = readArxivFile('arxiv-metadata-oai-snapshot.json', ['id', 'authors', 'categories', 'authors_parsed'], 100000)

（2）预处理论文作者姓名

authors_parsed列是authors列预处理之后得到的，同一个作者的名和姓放在一个列表中，不同作者的姓名放在不同列表中，再构成更大的列表。
e.g.
authors: Harry Potter, Sheldon Cooper
authors_parsed: [[Potter, Harry], [Cooper, Sheldon]]

拼接作者姓名，把author_parsed列所有的元素（也即列表）连接起来就好啦

all_authors = sum(data2['authors_parsed'], [])

（3）统计频率并作图

a. 统计姓+名的频率：

# 拼接所有的作者
authors_names = [' '.join(x) for x in all_authors]
authors_names = pd.DataFrame(authors_names)

# 根据作者频率绘制直方图
plt.figure(figsize=(10, 6))
authors_names[0].value_counts().head(10).plot(kind='barh')

b. 统计姓的频率：

# 拼接所有的作者
authors_lastnames = [x[0] for x in all_authors]
authors_lastnames = pd.DataFrame(authors_lastnames)

# 根据姓名频率绘制直方图
plt.figure(figsize=(10, 6))
authors_lastnames[0].value_counts().head(10).plot(kind='barh')

yysy，同名同姓咋办？
以及，这个task的现实意义是？希望在后面的task中能够得以证明