DataWhale——数据分析组队学习Day5

DataWhale——数据分析组队学习Day5

前言

今天要学习本次组队学习的第三部分：

任务主题：论⽂代码统计，统计所有论⽂出现代码的相关统计；
任务内容：使⽤正则表达式统计代码连接、⻚数和图表数据；
任务成果：学习正则表达式统计；

下面来看详细的操作：

数据处理

在arxiv2019年的数据集中作者经常会在论⽂的 comments 或 abstract 字段中给出具体的代码链接，所以我们需要从这些字段⾥⾯找出代码的链接。

数据处理步骤

1. 确定数据出现的位置；
2. 使⽤正则表达式完成匹配；
3. 完成相关的统计；

代码实现

⾸先我们来统计论⽂⻚数，也就是在 comments 字段中抽取pages和figures和个数，⾸先完成字段读取。

import json #读取数据，我们的数据为json格式的
import pandas as pd #数据处理，数据分析
import matplotlib.pyplot as plt #画图工具
import re #用于正则表达式，匹配字符串的模式

data = [] #初始化
#使用with语句优势：1.自动关闭文件句柄；2.自动显示（处理）文件读取数据异常
with open("arxiv-metadata-oai-2019.json", 'r') as f:
	for idx, line in enumerate(f):
	d = json.loads(line)
	d = {'abstract': d['abstract'], 'categories': d['categories'],
		'comments': d['comments']}
	data.append(d)

data = pd.DataFrame(data) #将list变为dataframe格式，方便使用pandas进行分析

对pages进⾏抽取：

# 使用正则表达式匹配，XX pages
data['pages'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]*pages', str(x)))
# 筛选出有pages的论文
data = data[data['pages'].apply(len) > 0]
# 由于匹配得到的是一个list，如['19 pages']，需要进行转换
data['pages'] = data['pages'].apply(lambda x: float(x[0].replace(' pages','')))

对pages进⾏统计：

print(data['pages'].describe().astype(int))

输出的结果如下：

count    527
mean      18
std       13
min        2
25%        9
50%       15
75%       23
max      162
Name: pages, dtype: int32

统计结果如下：论⽂平均的⻚数为18⻚，75%的论⽂在23⻚以内，最⻓的论⽂有162⻚。
接下来按照分类统计论⽂⻚数，选取了论⽂的第⼀个类别的主要类别：

# 选择主要类别
data['categories'] = data['categories'].apply(lambda x: x.split(' ')[0])
data['categories'] = data['categories'].apply(lambda x: x.split('.')[0])
# 每类论文的平均页数
plt.figure(figsize=(12, 6))
data.groupby(['categories'])['pages'].mean().plot(kind='bar')
plt.show()

输出的结果如下：

接下来对论⽂图表个数进⾏抽取：

data['figures'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]*figures', str(x)))
data = data[data['figures'].apply(len) > 0]
data['figures'] = data['figures'].apply(lambda x: float(x[0].replace('figures', '')))

最后我们对论⽂的代码链接进⾏提取，为了简化任务我们只抽取github链接：

# 筛选包含github的论文
data_with_code = data[
 (data.comments.str.contains('github')==True)|
 (data.abstract.str.contains('github')==True)
 ]
data_with_code['text'] = data_with_code['abstract'].fillna('') + data_with_code['comments'].fillna('')
# 使用正则表达式匹配论文
pattern = '[a-zA-z]+://github[^\s]*'
data_with_code['code_flag'] = data_with_code['text'].str.findall(pattern).apply(len)

并对论⽂按照类别进⾏绘图：

#并对论文按照类别进行绘图：
data_with_code = data_with_code[data_with_code['code_flag'] == 1]
plt.figure(figsize=(12, 6))
data_with_code.groupby(['categories'])['code_flag'].count().plot(kind='bar')
plt.show()

总结

最后一个类别与链接数量的图还有一点问题没有解决，只显示了一个cs类别的数量为1，暂时解决不了。除此之外，这一节运用到了很多正则化表达式的内容，这一块内容下次放在另外一篇博文里面吧.今天的任务完成了，明天继续加油.