近10年学术论文的数据分析！-CSDN博客

本文链接：https://blog.csdn.net/Datawhale/article/details/112690675

本文通过arXiv数据集，对2008年至2020年计算机科学领域的论文进行分析，包括数据转换、探索性分析和可视化。研究发现，论文数量逐年增长，热点领域从信息理论到计算机视觉，再到机器学习。排名前五的热门方向为计算机视觉、机器学习、信息理论、自然语言处理和人工智能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

↑↑↑关注后"星标"Datawhale

每日干货 & 每月组队学习，不错过

Datawhale干货

作者：李攀，北航硕士，Datawhale优秀学习者

arXiv是重要的学术公开网站，也是搜索、浏览和下载学术论文的重要工具。它涵盖的范围非常广，涉及物理学的庞大分支和计算机科学的众多子学科，如数学、统计学、电气工程、定量生物学和经济学等等。

本文使用arXiv公开的论文数据集，聚焦2008年-2020年计算机各个方向论文数据，对其进行了数据探索性分析和可视化分析，什么是2020年最火的方向，排名前五的又是哪些呢？一起来看看结论和数据分析过程。

本文目录

一、数据转换

本文数据下载地址：https://tianchi.aliyun.com/competition/entrance/531866/information

从json中读取数据

# 导入所需的package
import seaborn as sns #用于画图
from bs4 import BeautifulSoup #用于爬取arxiv的数据
import re #用于正则表达式，匹配字符串的模式
import requests #用于网络连接，发送网络请求，使用域名获取对应信息
import json #读取数据，我们的数据为json格式的
import pandas as pd #数据处理，数据分析
import matplotlib.pyplot as plt #画图工具

def readArxivFile(path, columns=['id', 'submitter', 'authors', 'title', 'comments', 'journal-ref', 'doi','report-no', 'categories', 'license', 'abstract', 'versions','update_date', 'authors_parsed'], count=None):
    data  = []
    with open(path, 'r') as f: 
        for idx, line in enumerate(f): 
            if idx == count:
                break
                
            d = json.loads(line)
            d = {col : d[col] for col in columns}
            data.append(d)