任务3：论文文代码统计

一、 小白的苦恼

1.杨助教虽然视频讲解了Task1、Task2，一听就懂，一做就不会；
录播地址：https://tianchi.aliyun.com/course/video?liveId=41284
2. 有个学习Pandas的好网站：
https://pandas.pydata.org/pandas-docs/stable/user_guide/10min.html。

二、 实际操作

1.导入所需包

import seaborn as sns           #用于画图
from bs4 import BeautifulSoup   #用于爬取arxiv的数据
import re                       #用于正则表达式，匹配字符串的模式
import requests                 #用于网络连接，发送网络请求，使用域名获取对应信息
import json                     #读取数据，我们的数据为json格式的
import pandas as pd             #数据处理，数据分析
import matplotlib.pyplot as plt #画图工具

2. 统计论文页数

也就是在comments字段中抽取pages和figures和个数，首先完成字段读取。

    def readArxivFile(path, columns=['id', 'submitter', 'authors', 'title', 'comments', 'journal-ref', 'doi',
       'report-no', 'categories', 'license', 'abstract', 'versions',
       'update_date', 'authors_parsed'], count=None):
    '''
    定义读取文件的函数
        path: 文件路径
        columns: 需要选择的列
        count: 读取行数
    '''
    
    data  = []
    with open(r'E:\06\arxiv-metadata-oai-snapshot.json', 'r') as f:
        for idx, line in enumerate(f): 
            if idx == count:
                break
                
            d = json.loads(line)
            d = {col : d[col] for col in columns}
            data.append(d)

    data = pd.DataFrame(data)
    return data

data = readArxivFile('E:\06\arxiv-metadata-oai-snapshot.json', ['id', 'abstract', 'categories', 'comments'])

3.数据抽取：

（1） 对pages进行抽取：

# 使⽤用正则表达式匹配，XX pages
data['pages'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]*
pages', str(x)))
# 筛选出有pages的论⽂文
data = data[data['pages'].apply(len) > 0]
# 由于匹配得到的是⼀一个list，如['19 pages']，需要进⾏行行转换
data['pages'] = data['pages'].apply(lambda x: float(x[0].replace(' pages',
'')))

（2） 对pages进行行统计：

data['pages'].describe().astype(int)

统计结果如下：论文平均的页数为17页，75%的论文在22页以内，最长的论文有11232页。

count 1089180
mean 17
std 22
min 1
25% 8
50% 13
75% 22
max 11232
Name: pages, dtype: int32

（3）接下来按照分类统计论文页数，选取了论文的第一个类别的主要类别：

# 选择主要类别
data['categories'] = data['categories'].apply(lambda x: x.split(' ')[0])
data['categories'] = data['categories'].apply(lambda x: x.split('.')[0])
# 每类论􀀀文的平均􀀀页数
plt.figure(figsize=(12, 6))
data.groupby(['categories'])['pages'].mean().plot(kind='bar')

（4）接下来对论文图表个数进行行抽取：

data['figures'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]*figures', str(x)))
data = data[data['figures'].apply(len) > 0]
data['figures'] = data['figures'].apply(lambda x: float(x[0].replace('figures', '')))

（5）对论文的代码链接进行提取，为了了简化任务我们只抽取github链接：

# 筛选包含github的论⽂文
data_with_code = data[
    (data.comments.str.contains('github')==True)|
                      (data.abstract.str.contains('github')==True)
]
data_with_code['text'] = data_with_code['abstract'].fillna('') +data_with_code['comments'].fillna('')

# 使⽤用正则表达式匹配论⽂文
pattern = '[a-zA-z]+://github[^\s]*'
data_with_code['code_flag'] = data_with_code['text'].str.findall(pattern).apply(lambda x : 0 if len(x) <1 else 1)

（6）并对论文按照类别进行绘图：

data_with_code = data_with_code[data_with_code['code_flag'] == 1]
plt.figure(figsize=(12, 6))
data_with_code.groupby(['categories'])['code_flag'].count().plot(kind='bar')

三、 总结

依旧依葫芦画瓢；现在看到它们不会头疼了，可以一点一点理解，需要更多的时间，也许等我做完所有task，回过头复习应该有更多收获。