Task3|Datawhale: 论文代码统计

Task3：论文代码统计

# -*- coding: utf-8 -*-
"""
Created on Sat Jan 16 14:58:56 2021

@author: Zoey
"""

##### Task3：论文代码统计，统计所有论文出现代码的相关统计

#######  3.1 导如package并读取原始数据
import os
import seaborn as sns
from bs4 import BeautifulSoup #用于爬取arxiv数据
import re #用于正则表达式，匹配字符串的模式
import requests #用于网络连接，发送网络请求，使用域名获取对应信息
import json
import pandas as pd
import matplotlib.pyplot as plt

os.chdir('D:/Zoey/datawhale_20210110')


def readArxivFile(path,columns=['id', 'submitter', 'authors', 'title', 'comments', 
       'journal-ref', 'doi','report-no', 'categories', 'license', 'abstract', 'versions',
       'update_date', 'authors_parsed'],count=None):
    '''
    定义读取文件的函数
        path: 文件路径
        columns: 需要选择的列
        count: 读取行数
    '''  

    data = []
    #使用with语句优势：1.自动关闭文件句柄；2.自动显示（处理）文件读取数据异常
    with open(path, 'r') as f:
        for idx, line in enumerate(f):
            if idx == count:
                break
            
            d = json.loads(line)
            d = {col:d[col] for col in columns}
            data.append(d)
    
    data = pd.DataFrame(data)
    return data

data = readArxivFile('arxiv-metadata-oai-snapshot.json', ['id', 'abstract', 'categories', 'comments'])

##### 3.2 对pages进行抽取
# 使用正则表达式匹配，XX pages
data['pages'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* pages', str(x)))

# 筛选出有pages的论文
data = data[data['pages'].apply(len) > 0]

# 由于匹配得到的是一个list，如['19 pages']，需要进行转换
# data['pages'] = data['pages'].apply(lambda x: float(re.sub(r'\D', '', x[0]))) #将非数字内容替换成空值
data['pages'] = data['pages'].apply(lambda x: float(x[0].replace(' pages', '')))

data['pages'].describe().astype(int)

##### 3.3 按照分类统计论文页数--选取了论文的第一个类别的主要类别
data['categories'] = data['categories'].apply(lambda x: x.split(' ')[0])
data['categories'] = data['categories'].apply(lambda x: x.split('.')[0])

# 每类论文的平均页数
plt.figure(figsize=(12, 6))
# data.groupby(['categories']).agg({'pages':'mean'}).plot(kind='bar')
data.groupby(['categories'])['pages'].mean().plot(kind='bar')


##### 3.4 对论文图表个数进行抽取
data['figures'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* figures', str(x)))
data = data[data['figures'].apply(len) > 0]
data['figures'] = data['figures'].apply(lambda x: float(x[0].replace(' figures', '')))

# 每类论文的平均图表数
plt.figure(figsize=(12, 6))
# data.groupby(['categories']).agg({'pages':'mean'}).plot(kind='bar')
data.groupby(['categories'])['figures'].mean().plot(kind='bar')


##### 3.5 对论文的代码链接进行提取--为简化任务只抽取github链接
data_with_code = data[(data.comments.str.contains('github')) | (data.abstract.str.contains('github'))]
data_with_code['text'] = data_with_code['abstract'].fillna('') + data_with_code['comments'].fillna('')
data_with_code['text'] = data_with_code['abstract'].fillna('') + data_with_code['comments'].fillna('')

# 使用正则表达式匹配论文
pattern = '[a-zA-z]+://github[^\s]*'
data_with_code['code_flag'] = data_with_code['text'].str.findall(pattern).apply(lambda x: 0 if len(x)<1 else 1)                  

# 对论文按照类别进行绘图
data_with_code = data_with_code[data_with_code['code_flag'] == 1]
plt.figure(figsize=(12, 6))
data_with_code.groupby(['categories'])['code_flag'].count().plot(kind='bar')