任务说明
1、任务主题:论文代码统计,统计所有论文出现代码的相关统计;
2、任务内容:使用正则表达式统计代码连接、页数和图表数据;
3、任务成果:学习正则表达式统计;
数据处理步骤
在原始arxiv数据集中作者经常会在论文的comments或abstract字段中给出具体的代码链接,所以我们需要从这些字段里面找出代码的链接。
1、确定数据出现的位置;
2、使用正则表达式完成匹配;
3、完成相关的统计;
1、数据读取
导入需要的模块并读取数据
#导入所需的package
import seaborn as sns #用于画图
from bs4 import BeautifulSoup #用于爬取arxiv的数据
import re #用于正则表达式,匹配字符串的模式
import requests #用于网络连接,发送网络请求,使用域名获取对应信息
import json #读取数据,我们的数据为json格式的
import pandas as pd #数据处理,数据分析
import matplotlib.pyplot as plt #画图工具
data = [] #初始化
#使用with语句优势:1.自动关闭文件句柄;2.自动显示(处理)文件读取数据异常
with open(r"D:\python练习/数据/arxiv-metadata-oai-snapshot.json", 'r') as f:
for line in f:
data.append(json.loads(line))
data = pd.DataFrame(data) #将list变为dataframe格式,方便使用pandas进行分析
print(data.shape) #显示数据大小
data.head()
输出结果:
对pages进行抽取:
# 使用正则表达式匹配,XX pages
data['pages'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* pages', str(x)))
# 筛选出有pages的论文
data = data[data['pages'].apply(len) > 0]
# 由于匹配得到的是一个list,如['19 pages'],需要进行转换
data['pages'] = data['pages'].apply(lambda x: float(x[0].replace(' pages', '')))
对pages进行统计:
data['pages'].describe().astype(int)
data[‘pages’]长这样:
接下来按照分类统计论文页数,选取了论文的第一个类别的主要类别:
# 选择主要类别
data['categories'] = data['categories'].apply(lambda x: x.split(' ')[0])
data['categories'] = data['categories'].apply(lambda x: x.split('.')[0])
# 每类论文的平均页数
plt.figure(figsize=(12, 6))
data.groupby(['categories'])['pages'].mean().plot(kind='bar')
图:
接下来对论文图表个数进行抽取:
data['figures'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* figures', str(x)))
data = data[data['figures'].apply(len) > 0]
data['figures'] = data['figures'].apply(lambda x: float(x[0].replace(' figures', '')))
data
筛选后的data:
pages 和 figures 两列:
最后我们对论文的代码链接进行提取,为了简化任务我们只抽取github链接:
# 筛选包含github的论文
data_with_code = data[
(data.comments.str.contains('github')==True)|
(data.abstract.str.contains('github')==True)
]
data_with_code['text'] = data_with_code['abstract'].fillna('') + data_with_code['comments'].fillna('')
# 使用正则表达式匹配论文
pattern = '[a-zA-z]+://github[^\s]*'
data_with_code['code_flag'] = data_with_code['text'].str.findall(pattern).apply(len)
知识点
:fillna函数详解
最后我们对论文的代码链接进行提取,为了简化任务我们只抽取github链接:
# 筛选包含github的论文
data_with_code = data[
(data.comments.str.contains('github')==True)|
(data.abstract.str.contains('github')==True)
]
data_with_code['text'] = data_with_code['abstract'].fillna('') + data_with_code['comments'].fillna('')
# 使用正则表达式匹配论文
pattern = '[a-zA-z]+://github[^\s]*'
data_with_code['code_flag'] = data_with_code['text'].str.findall(pattern).apply(len)
并对论文按照类别进行绘图:
data_with_code = data_with_code[data_with_code['code_flag'] == 1]
plt.figure(figsize=(12, 6))
data_with_code.groupby(['categories'])['code_flag'].count().plot(kind='bar')
图:
知识点
:字典变成dataframe 时需要先转换成列表
第一种方法,直接使用pd.DataFrame()。需要注意的是这种方法需要先将字典变为list。
>>> dict = {'a':'apple','b':'banana'}
>>> dict
{'a': 'apple', 'b': 'banana'}
>>> import pandas as pd
>>> df = pd.DataFrame([dict])
>>> df
a b
0 apple banana
>>>