一、背景目的
arXiv 重要的学术公开⽹站,也是搜索、浏览和下载学术论⽂的重要⼯具。arXiv论⽂涵盖的范围⾮常 ⼴,涉及物理学的庞⼤分⽀和计算机科学的众多⼦学科,如数学、统计学、电⽓⼯程、定量⽣物学和经济学等等。
目的:将使⽤arXiv在公开的17万篇论⽂数据集,通过数据分析能够挖掘出最近学术的发展趋势和学术关键词。
使用工具:python
主题:
(1)论文代码统计,统计所有论文出现代码的相关统计;
二、数据处理
2.1 使用包导入
# 导入所需的package
import seaborn as sns #用于画图
from bs4 import BeautifulSoup #用于爬取arxiv的数据
import re #用于正则表达式,匹配字符串的模式
import requests #用于网络连接,发送网络请求,使用域名获取对应信息
import json #读取数据,我们的数据为json格式的
import pandas as pd #数据处理,数据分析
import matplotlib.pyplot as plt #画图工具
2.2 读取数据
# 读入数据
data = [] #初始化
#使用with语句优势:1.自动关闭文件句柄;2.自动显示(处理)文件读取数据异常
with open("arxiv-metadata-oai-2019.json", 'r') as f:
for line in f:
data.append(json.loads(line))
data = pd.DataFrame(data) #将list变为dataframe格式,方便使用pandas进行分析
data.shape #显示数据大小
2.3 显示数据内容
data.head() #显示数据的前五行
2.4 统计论文页数 – 在comments字段中抽取pages和figures和个数
2.4.1 字段读取
data = [] #初始化
#使用with语句优势:1.自动关闭文件句柄;2.自动显示(处理)文件读取数据异常
with open("arxiv-metadata-oai-2019.json", 'r') as f:
for idx, line in enumerate(f):
d = json.loads(line)
d = {'abstract': d['abstract'], 'categories': d['categories'], 'comments': d['comments']}
data.append(d)
data = pd.DataFrame(data) #将list变为dataframe格式,方便使用pandas进行分析
2.4.2 对pages进行抽取
# 使用正则表达式匹配,XX pages
data['pages'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* pages', str(x)))
# 筛选出有pages的论文
data = data[data['pages'].apply(len) > 0]
# 由于匹配得到的是一个list,如['19 pages'],需要进行转换
data['pages'] = data['pages'].apply(lambda x: float(x[0].replace(' pages', '')))
2.4.3 对pages进行统计
data['pages'].describe().astype(int)
统计结果:论文平均的页数为18页,75%的论文在24页以内,最长的论文有1958页。
count 80696
mean 18
std 20
min 1
25% 9
50% 14
75% 24
max 1958
Name: pages, dtype: int32
2.4.4 按照分类统计论文页数,选取了论文的第一个类别的主要类别
# 选择主要类别
data['categories'] = data['categories'].apply(lambda x: x.split(' ')[0])
data['categories'] = data['categories'].apply(lambda x: x.split('.')[0])
# 每类论文的平均页数
plt.figure(figsize=(12, 6))
data.groupby(['categories'])['pages'].mean().plot(kind='bar')
plt.show()
2.4.5 对论文图表个数进行抽取
data['figures'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* figures', str(x)))
data = data[data['figures'].apply(len) > 0]
data['figures'] = data['figures'].apply(lambda x: float(x[0].replace(' figures', '')))
print(data.shape)
结论:(49690, 5)
2.4.6 对论文的代码链接进行提取(以下仅抽取github链接)
# 筛选包含github的论⽂
data_with_code = data[(data.comments.str.contains('github')==True)|(data.abstract.str.contains('github')==True)]
data_with_code['text'] = data_with_code['abstract'].fillna('') + data_with_code['comments'].fillna('')
# 使⽤正则表达式匹配论⽂
pattern = '[a-zA-z]+://github[^\s]*'
data_with_code['code_flag'] = data_with_code['text'].str.findall(pattern).apply(len)
2.4.7 对论文按照类别进行绘图
data_with_code = data_with_code[data_with_code['code_flag'] == 1]
plt.figure(figsize=(12, 6))
data_with_code.groupby(['categories'])['code_flag'].count().plot(kind='bar')
plt.show()