DW-- 学术前言趋势分析（三）

一、背景目的
arXiv 重要的学术公开⽹站，也是搜索、浏览和下载学术论⽂的重要⼯具。arXiv论⽂涵盖的范围⾮常 ⼴，涉及物理学的庞⼤分⽀和计算机科学的众多⼦学科，如数学、统计学、电⽓⼯程、定量⽣物学和经济学等等。

目的：将使⽤arXiv在公开的17万篇论⽂数据集，通过数据分析能够挖掘出最近学术的发展趋势和学术关键词。

使用工具：python

主题：
（1）论文代码统计，统计所有论文出现代码的相关统计；

二、数据处理
2.1 使用包导入

# 导入所需的package
import seaborn as sns #用于画图
from bs4 import BeautifulSoup #用于爬取arxiv的数据
import re #用于正则表达式，匹配字符串的模式
import requests #用于网络连接，发送网络请求，使用域名获取对应信息
import json #读取数据，我们的数据为json格式的
import pandas as pd #数据处理，数据分析
import matplotlib.pyplot as plt #画图工具

2.2 读取数据

# 读入数据

data  = [] #初始化
#使用with语句优势：1.自动关闭文件句柄；2.自动显示（处理）文件读取数据异常
with open("arxiv-metadata-oai-2019.json", 'r') as f: 
    for line in f: 
        data.append(json.loads(line))
        
data = pd.DataFrame(data) #将list变为dataframe格式，方便使用pandas进行分析
data.shape #显示数据大小

2.3 显示数据内容

data.head() #显示数据的前五行

2.4 统计论文页数 – 在comments字段中抽取pages和figures和个数
2.4.1 字段读取

data  = [] #初始化
#使用with语句优势：1.自动关闭文件句柄；2.自动显示（处理）文件读取数据异常
with open("arxiv-metadata-oai-2019.json", 'r') as f: 
    for idx, line in enumerate(f): 
        d = json.loads(line)
        d = {'abstract': d['abstract'], 'categories': d['categories'], 'comments': d['comments']}
        data.append(d)
        
data = pd.DataFrame(data) #将list变为dataframe格式，方便使用pandas进行分析

2.4.2 对pages进行抽取

# 使用正则表达式匹配，XX pages
data['pages'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* pages', str(x)))

# 筛选出有pages的论文
data = data[data['pages'].apply(len) > 0]

# 由于匹配得到的是一个list，如['19 pages']，需要进行转换
data['pages'] = data['pages'].apply(lambda x: float(x[0].replace(' pages', '')))

2.4.3 对pages进行统计

data['pages'].describe().astype(int)

统计结果：论文平均的页数为18页，75%的论文在24页以内，最长的论文有1958页。
count 80696
mean 18
std 20
min 1
25% 9
50% 14
75% 24
max 1958
Name: pages, dtype: int32

2.4.4 按照分类统计论文页数，选取了论文的第一个类别的主要类别

# 选择主要类别
data['categories'] = data['categories'].apply(lambda x: x.split(' ')[0])
data['categories'] = data['categories'].apply(lambda x: x.split('.')[0])

# 每类论文的平均页数
plt.figure(figsize=(12, 6))
data.groupby(['categories'])['pages'].mean().plot(kind='bar')
plt.show()

2.4.5 对论文图表个数进行抽取

data['figures'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* figures', str(x)))
data = data[data['figures'].apply(len) > 0]
data['figures'] = data['figures'].apply(lambda x: float(x[0].replace(' figures', '')))
print(data.shape)

结论：(49690, 5)
2.4.6 对论文的代码链接进行提取（以下仅抽取github链接）

# 筛选包含github的论⽂
data_with_code = data[(data.comments.str.contains('github')==True)|(data.abstract.str.contains('github')==True)]
data_with_code['text'] = data_with_code['abstract'].fillna('') + data_with_code['comments'].fillna('')
# 使⽤正则表达式匹配论⽂
pattern = '[a-zA-z]+://github[^\s]*'
data_with_code['code_flag']  = data_with_code['text'].str.findall(pattern).apply(len)

2.4.7 对论文按照类别进行绘图

data_with_code = data_with_code[data_with_code['code_flag'] == 1]
plt.figure(figsize=(12, 6))
data_with_code.groupby(['categories'])['code_flag'].count().plot(kind='bar')
plt.show()