任务3：论⽂文代码统计

任务3：论⽂文代码统计

3.1 任务说明

---

• 任务主题：论文代码统计，统计所有论文出现代码的相关统计；
• 任务内容：使用正则表达式统计代码连接、页数和图表数据；
• 任务成果：学习正则表达式统计；

3.2 数据处理理步骤

---

在原始arxiv数据集中作者经常会在论文的comments 或abstract 字段中给出具体的代码链接，所以我
们需要从这些字段里面找出代码的链接。

• 确定数据出现的位置；
• 使用正则表达式完成匹配；
• 完成相关的统计；

3.3 正则表达式

正则表达式(regular expression)描了了⼀一种字符串匹配的模式（pattern），可以用来检查一个串是否
含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。

3.3.1 普通字符：大写和小写字母、所有数字、所有标点符号和一些其他符号

3.3.2 特殊字符：有特殊含义的字符

3.3.3 限定符

3.4 具体代码实现以及讲解

首先我们来统计论文页数，也就是在comments 字段中抽取pages和figures和个数，首先完成字段读
取。

import json
import pandas as pd
data = []# 初始化
#使⽤用with语句优势：1.自动关闭文件句柄；2.自动显示（处理）文件读取数据异常
with open(r'.\arxiv-metadata-oai-2019.json\arxiv-metadata-oai-2019.json', 'r') as f:
    for inx, line in enumerate(f):
        d = json.loads(line)
        d = {'abstract': d['abstract'], 'categories': d['categories'], 'comments': d['comments']}
        data.append(d)
data = pd.DataFrame(data)  #将list 变为dataframe格式， 方便使用pandas进行分析

import re
# 使用正则表达式匹配，XX pages
data['pages'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]*pages', str(x)))
# 筛选出有pages的论文
data = data[data['pages'].apply(len)>0]
#由于匹配得到的是一个list，如['19 pages']， 需要进行转换
data['pages'] = data['pages'].apply(lambda x: float(x[0].replace('pages','')))

# 对pages进行统计：
data['pages'].describe().astype(int)
#统计结果如下：论⽂平均的页数为17页，75%的论文在22页以内，最长的论⽂有11232页。

count    527
mean      18
std       13
min        2
25%        9
50%       15
75%       23
max      162
Name: pages, dtype: int32

# 接下来按照分类统计论⽂页数，选取了论文的第一个类别的主要类别：
# 选择主要类别
import matplotlib.pyplot as plt
data['categories'] = data['categories'].apply(lambda x: x.split(' ')[0])
data['categories'] = data['categories'].apply(lambda x: x.split('.')[0])
# 每类论文的平均页数
plt.figure(figsize=(12, 6))
data.groupby(['categories'])['pages'].mean().plot(kind='bar')

<AxesSubplot:xlabel='categories'>

# 接下来对论⽂文图表个数进⾏行行抽取：
data['figures'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]*figures', str(x)))
data = data[data['figures'].apply(len) > 0]
data['figures'] = data['figures'].apply(lambda x: float(x[0].replace('figures', '')))

# 最后我们对论文的代码链接进行提取，为了简化任务我们只抽取github链接：
# 筛选包含github的论⽂文
data_with_code = data[(data.comments.str.contains('github')==True)|(data.abstract.str.contains('github')==True)]
data_with_code['text'] = data_with_code['abstract'].fillna('') + data_with_code['comments'].fillna('')
# 使⽤用正则表达式匹配论⽂文
pattern = '[a-zA-z]+://github[^\s]*'
data_with_code['code_flag'] = data_with_code['text'].str.findall(pattern).apply(len)

D:\anaconda3\lib\site-packages\ipykernel_launcher.py:4: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
  after removing the cwd from sys.path.
D:\anaconda3\lib\site-packages\ipykernel_launcher.py:7: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
  import sys

# 并对论文按照类别进⾏绘图：
data_with_code = data_with_code[data_with_code['code_flag'] == 1]
plt.figure(figsize=(12, 6))
data_with_code.groupby(['categories'])['code_flag'].count().plot(kind='bar')

<AxesSubplot:xlabel='categories'>