Pyhton零基础投喂（综合练习：3.论⽂文代码统计）

# 导⼊所需的package
import seaborn as sns #⽤于画图
from bs4 import BeautifulSoup #⽤于爬取arxiv的数据
import re #⽤于正则表达式，匹配字符串的模式
import requests #⽤于⽹络连接，发送⽹络请求，使⽤域名获取对应信息
import json #读取数据，我们的数据为json格式的
import pandas as pd #数据处理，数据分析
import matplotlib.pyplot as plt #画图⼯具

data = [] #初始化
#使⽤用with语句句优势： 1.⾃自动关闭⽂文件句句柄； 2.⾃自动显示（处理理）⽂文件读取数据异常
with open("C:\\Users\\Administrator\\Desktop\\arxiv-metadata-oai-2019.json", 'r') as f:
    for idx, line in enumerate(f):
        d = json.loads(line)
        d = {'abstract': d['abstract'], 'categories': d['categories'],'comments': d['comments']}
        data.append(d)
data = pd.DataFrame(data) #将list变为dataframe格式，⽅方便便使⽤用pandas进⾏行行分析C:\Users\Administrator\Desktop

# 使⽤用正则表达式匹配， XX pages
data['pages'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* pages', str(x)))
# 筛选出有pages的论⽂文
data = data[data['pages'].apply(len) > 0]
# 由于匹配得到的是⼀一个list，如['19 pages']，需要进⾏行行转换
data['pages'] = data['pages'].apply(lambda x: float(x[0].replace(' pages','')))

统计结果如下：论文平均的页数为17⻚页， 75%的论⽂文在22页以内，最长的论文有56⻚页。

data['pages'].describe().astype(int)

count     9
mean     17
std      16
min       3
25%       7
50%      17
75%      22
max      56
Name: pages, dtype: int32

# 选择主要类别
data['categories'] = data['categories'].apply(lambda x: x.split(' ')[0])
data['categories'] = data['categories'].apply(lambda x: x.split('.')[0])
# 每类论⽂文的平均⻚页数
plt.figure(figsize=(12, 6))
data.groupby(['categories'])['pages'].mean().plot(kind='bar')

<AxesSubplot:xlabel='categories'>

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8Sonunbe-1611107265755)(output_5_1.png)]

data['figures'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* figures', str(x)))
data = data[data['figures'].apply(len) > 0]
data['figures'] = data['figures'].apply(lambda x: float(x[0].replace('figures', '')))

最后我们对论文的代码链接进行提取，为了简化任务我们只抽取github链接：

# 筛选包含github的论⽂文
data_with_code = data[(data.comments.str.contains('github')==True)|(data.abstract.str.contains('github')==True)]
data_with_code['text'] = data_with_code['abstract'].fillna('') + data_with_code['comments'].fillna('')
# 使⽤用正则表达式匹配论⽂文
pattern = '[a-zA-z]+://github[^\s]*'
data_with_code['code_flag'] = data_with_code['text'].str.findall(pattern).apply(len)

并对论⽂文按照类别进行绘图：

data_with_code = data_with_code[data_with_code['code_flag'] == 1]
plt.figure(figsize=(12, 6))
data_with_code.groupby(['categories'])['code_flag'].count().plot(kind='bar')

---------------------------------------------------------------------------

IndexError                                Traceback (most recent call last)

<ipython-input-24-6eb836b47fda> in <module>
      1 data_with_code = data_with_code[data_with_code['code_flag'] == 1]
      2 plt.figure(figsize=(12, 6))
----> 3 data_with_code.groupby(['categories'])['code_flag'].count().plot(kind='bar')


~\anaconda3\lib\site-packages\pandas\plotting\_core.py in __call__(self, *args, **kwargs)
    947                     data.columns = label_name
    948 
--> 949         return plot_backend.plot(data, kind=kind, **kwargs)
    950 
    951     __call__.__doc__ = __doc__


~\anaconda3\lib\site-packages\pandas\plotting\_matplotlib\__init__.py in plot(data, kind, **kwargs)
     59             kwargs["ax"] = getattr(ax, "left_ax", ax)
     60     plot_obj = PLOT_CLASSES[kind](data, **kwargs)
---> 61     plot_obj.generate()
     62     plot_obj.draw()
     63     return plot_obj.result


~\anaconda3\lib\site-packages\pandas\plotting\_matplotlib\core.py in generate(self)
    276         for ax in self.axes:
    277             self._post_plot_logic_common(ax, self.data)
--> 278             self._post_plot_logic(ax, self.data)
    279 
    280     def _args_adjust(self):


~\anaconda3\lib\site-packages\pandas\plotting\_matplotlib\core.py in _post_plot_logic(self, ax, data)
   1459         name = self._get_index_name()
   1460 
-> 1461         s_edge = self.ax_pos[0] - 0.25 + self.lim_offset
   1462         e_edge = self.ax_pos[-1] + 0.25 + self.bar_width + self.lim_offset
   1463 


IndexError: index 0 is out of bounds for axis 0 with size 0

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7djILG7f-1611107265757)(output_10_1.png)]