学术前沿趋势分析——论文代码统计

学术前沿趋势分析——论文代码统计

一、任务说明

• 任务主题：论文代码统计，统计所有论文出现代码的相关统计；
• 任务内容：使用正则表达式统计代码连接、页数和图表数据；
• 任务成果：学习正则表达式统计；

二、正则表达式

正则表达式 (regular expression) 描述了一种字符串匹配的模式，可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。

三、代码实现

1. 数据读取

data  = [] 
with open("arxiv-metadata-oai-snapshot.json", 'r') as f: 
    for idx, line in enumerate(f): 
        d = json.loads(line)
        d = {'abstract': d['abstract'], 'categories': d['categories'], 'comments': d['comments']}
        data.append(d)
data = pd.DataFrame(data) 

2. 统计pages

#抽取pages
data['pages'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* pages', str(x)))
data = data[data['pages'].apply(len) > 0]
data['pages'] = data['pages'].apply(lambda x: float(x[0].replace(' pages', '')))
#统计pages
data['pages'].describe().astype(int)
# 选择主要类别
data['categories'] = data['categories'].apply(lambda x: x.split(' ')[0])
data['categories'] = data['categories'].apply(lambda x: x.split('.')[0])
# 每类论文的平均页数
plt.figure(figsize=(12, 6))
data.groupby(['categories'])['pages'].mean().plot(kind='bar')

3. 统计图表

data['figures'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* figures', str(x)))
data = data[data['figures'].apply(len) > 0]
data['figures'] = data['figures'].apply(lambda x: float(x[0].replace(' figures', '')))

4. 统计代码

data_with_code = data[
  (data.comments.str.contains('github')==True)|                    (data.abstract.str.contains('github')==True)
]
data_with_code['text'] = data_with_code['abstract'].fillna('') + data_with_code['comments'].fillna('')
pattern = '[a-zA-z]+://github[^\s]*'
data_with_code['code_flag'] = data_with_code['text'].str.findall(pattern).apply(len)

5. 绘图

data_with_code = data_with_code[data_with_code['code_flag'] == 1]
plt.figure(figsize=(12, 6))
data_with_code.groupby(['categories'])['code_flag'].count().plot(kind='bar')