数据分析入门（基于python）——学术前沿趋势分析——Task2：论文作者统计

任务背景

本任务的背景为使用公开的arXiv论文完成相应的数据分析操作，并且完成具体的可视化分析。

任务描述

论文作者统计，即统计所有论文作者出现频率Top10的姓名。

数据集介绍

数据集来源：数据集链接
数据集的各个特征的含义如下：

通过以上字段含义信息，可以发现，在本任务中，我们关心的字段有’authors’，‘categories’，以及’authors_parsed’。

具体思路以及代码实现

导入package并读取原始数据

# 导入所需的package
import seaborn as sns #用于画图
from bs4 import BeautifulSoup #用于爬取arxiv的数据
import re #用于正则表达式，匹配字符串的模式
import requests #用于网络连接，发送网络请求，使用域名获取对应信息
import json #读取数据，我们的数据为json格式的
import pandas as pd #数据处理，数据分析
import matplotlib.pyplot as plt #画图工具

# 读入数据，为了方便处理数据，我们只选择了三个字段进行读取

data = []
with open("arxiv-metadata-oai-snapshot.json", 'r') as f: 
    for idx, line in enumerate(f): 
        d = json.loads(line)
        d = {
   'authors': d['authors'], 'categories': d['categories'], 'authors_parsed': d['authors_parsed']}
        data.append(d)
        
data = pd.DataFrame(data)

data.head