学术前沿趋势分析 Task2：论文作者统计

最新推荐文章于 2024-10-29 09:15:15 发布

AnnoraJiao

最新推荐文章于 2024-10-29 09:15:15 发布

阅读量290

点赞数 1

分类专栏：数据分析实战文章标签：数据分析

本文链接：https://blog.csdn.net/weixin_42120499/article/details/112638899

版权

该博客介绍了如何使用Pandas进行论文作者统计，包括统计作者姓名出现频率的Top10、作者姓氏的Top10以及姓氏首字母的频率。在计算机视觉领域（cs.CV），华人作者在发表论文上表现突出。

摘要由CSDN通过智能技术生成

一、任务说明

任务主题：论文作者统计，统计所有论文作者出现评率Top10的姓名；
任务内容：论文作者的统计、使用 Pandas 读取数据并使用字符串操作；
任务成果：学习 Pandas 的字符串操作；

二、任务思路

首先导入数据集，只保留作者信息(authors,authors_parsed)和论文类别信息(categories)。
然后把不同领域每个作者信息提取出来，统计频率。

三、具体代码实现及解释

1、导入数据

# 导入所需的package
import seaborn as sns #用于画图
from bs4 import BeautifulSoup #用于爬取arxiv的数据
import re #用于正则表达式，匹配字符串的模式
import requests #用于网络连接，发送网络请求，使用域名获取对应信息
import json #读取数据，我们的数据为json格式的
import pandas as pd #数据处理，数据分析
import matplotlib.pyplot as plt #画图工具
import json

data = []
with open("arxiv-metadata-oai-snapshot.json", 'r') as f: 
    for idx, line in enumerate(f): 
        d = json.loads(line)
        d = {
   'authors': d['authors'], 'categories': d['categories'], 'authors_parsed': d['authors_parsed']